数据存储SOP

适用场景

• 新建数据湖或数据仓库项目，首次定义存储规范时
• 已有存储体系需要标准化改造，统一目录与命名规则时
• 跨团队协作的数据管道，需要约定存储访问路径和权限边界时
• 合规审计要求（GDPR、HIPAA、等保2.0）触发备份保留策略调整时

前置条件

条件项	说明
存储容量预算已审批	明确年度TB增长预估及备份存储成本分摊
存储基础设施就绪	NAS/S3兼容对象存储/本地磁盘已挂载并测试I/O性能
命名规范草案	数据治理委员会已评审并通过数据分类编码方案
备份窗口计划	业务峰值低峰时间表已确定，避免备份与生产IO争抢

操作步骤

步骤1：存储介质选择

1. 评估数据访问频率：热数据（SSD/NVMe）、温数据（HDD/标准S3）、冷数据（磁带/Glacier Deep Archive）。
2. 按成本模型计算：每GB每月价格 × 预估容量 + IOPS消耗费用。
3. 确认合规约束：数据驻留区域决定是否须使用本地存储或指定云Region。
4. 填写介质选型决策矩阵（见记录材料）。

步骤2：目录规范

1. 遵循分层结构：/数据域/数据源/日期/批次/，其中日期统一使用 YYYY/MM/DD 格式。
2. 禁止在路径中使用空格、非ASCII字符、大写字母（统一小写）。
3. 每一层不超过64个字符，总路径长度不超过255个字符。
4. 示例目录树：

   /data/raw/sensor_logs/2025/04/01/batch001/
   　　├── sensor001.csv
   　　└── sensor002.csv
   /data/curated/daily_metrics/2025/04/01/
   　　└── metrics.parquet
   /data/archive/2025/03/old_batch/

步骤3：命名规则

1. 文件命名模板：{数据源}_{业务事件}_{时间戳戳}_{分区键}.{扩展名}。
2. 时间戳统一使用UTC，格式为 yyyyMMdd_HHmmss 或毫秒级 yyyyMMdd_HHmmssSSS。
3. 禁止使用非确定性字段（如随机数、UUID），必须可复现。
4. 示例文件名：

   sensor01_temperature_20250401_143022_zoneA.csv
   order_fulfilled_20250401_143022SSS_shop123.avro

步骤4：备份策略

1. 定义RPO/RTO：关键业务数据RPO ≤ 15分钟，RTO ≤ 2小时；归档数据RPO ≤ 24小时，RTO ≤ 48小时。
2. 实施3-2-1规则：至少3副本、2种不同介质、1份异地存储。
3. 配置自动化备份计划（示例crontab）：

   # 每小时增量备份
   0 * * * * /usr/local/bin/backup_hourly.sh
   # 每日全量备份（凌晨2:00）
   0 2 * * * /usr/local/bin/backup_daily.sh
   # 每周归档到冷存储
   0 3 * * 0 /usr/local/bin/backup_archive.sh

4. 备份验证：每月随机抽取3%备份集执行恢复演练，记录结果。

步骤5：责任分工

角色	职责范围	交付物
数据架构师	定义目录分层模型、命名模板、介质选型标准	存储规范文档 v1.0
平台运维工程师	基础设施部署、备份脚本编写、存储性能监控	备份配置模板、监控Dashboard
数据工程师	遵守规范写入数据、发起存储扩容申请	存储使用周报
安全合规经理	审计路径权限、备份保留时长、数据销毁流程	合规检查清单

输入输出物

输入物	输出物
数据分类清单、容量预测表、合规要求文档	介质选型矩阵、目录规范模板、命名规则说明书
基础设施资源清单（IP、挂载点、S3 bucket列表）	备份脚本、crontab配置、恢复演练报告
团队角色映射表	责任矩阵表（RACI）

责任边界

• 数据架构师对目录规范、命名规则的合理性及可扩展性负责。
• 平台运维工程师对备份成功率、恢复时间满足RTO负责。
• 数据生产者（ETL开发者、数据采集应用）必须按规范写入路径和文件名，否则视为数据质量事件。
• 安全合规经理每季度审计一次备份保留策略的执行情况，未达标项限期整改。

记录材料

1. 介质选型决策矩阵（Excel/Google Sheet）：包含每类存储介质的性能、成本、合规标记、最终决策人及日期。
2. 目录规范注册表：记录所有已授权的根目录及其用途、所有者、创建日期。
3. 备份链路验证日志：每次恢复演练的步骤与耗时记录，如：

   2025-04-15 恢复演练报告
   数据组：sensor_logs
   备份时间：2025-04-14 02:00 UTC
   恢复用时：47分钟（RTO要求≤2小时）
   验证状态：通过

4. 责任矩阵RACI：本章节所涉及各活动的 Responsible、Accountable、Consulted、Informed 清单。

异常处理

异常场景	处理流程	升级路径
目录路径冲突（两个团队写入同一路径）	暂停写入，由数据架构师重新分配路径或合并数据源	数据治理委员会
备份失败（磁盘满/网络中断）	重试3次，仍失败则触发告警并转移至应急存储	平台运维 Team Lead
命名规则违反（如出现大写字母或空格）	拒绝写入，返回错误码并提供标准化建议；人工修复脚本	数据工程师+架构师席
存储介质性能不达标（平均延迟 > 10ms）	临时切换至备用介质，发起紧急采购或扩容	基础设施负责人

验收标准

• 新写入的数据100%符合目录规范与命名规则（通过自动化扫描验证）。
• 备份成功率连续7天 ≥ 99.5%（含全量和增量）。
• 恢复演练演练成功率 ≥ 90%，且平均恢复时间在RTO的80%以内。
• 责任分工矩阵中每个角色至少完成一次培训签到。
• 所有记录材料（矩阵、注册表、日志、RACI）已归档至文档仓库，版本号明确。

存储SOP执行流程总图