第2章 数据采集SOP：采集场景、数据源确认、采集工具、输入输出物、责任角色

2.1 适用场景

本章SOP适用于以下三类典型采集场景：

• 场景A – 生产环境实时流采集：IoT传感器、设备日志、交易流水等持续产生的高速数据流。
• 场景B – 批量历史数据迁移：从遗留系统、冷存储或第三方API拉取全量/增量历史数据。
• 场景C – 人工补录与元数据补充：需业务人员手动填写或审核的结构化/半结构化数据（如质检记录、客户回访）。

2.2 前置条件

2.3 操作步骤

1. 步骤1 – 采集场景确认
   依据业务需求文档，定位采集场景类型（A/B/C），并记录在《采集场景登记表》中。
2. 步骤2 – 数据源确认
   核对数据源的物理位置、协议（JDBC/HTTP/SFTP/MQTT）、认证方式，完成《数据源确认单》。
3. 步骤3 – 采集工具选型
   按场景选择工具：流采集使用Kafka Connect + Debezium；批量迁移使用Apache NiFi；人工补录使用定制的Web表单+API。填写《工具选型决策表》。
4. 步骤4 – 配置与测试
   编写或调整采集任务配置，进行小批量试采集（样本量≥100条）。记录测试结果。
5. 步骤5 – 正式采集执行
   启动采集任务，监控实时流量/写入速率，确认调度周期（批处理）或持续性（流处理）。
6. 步骤6 – 输出物验证
   校验输出数据的字段完整性、主键唯一性、时间戳合规性。输出《采集验证报告》。

2.4 输入输出物

2.5 责任边界

• 数据采集工程师：负责工具配置、试采集执行、输出物填写、异常初级处理。
• 数据架构师：负责工具选型终审、复杂源适配方案设计、性能调优指导。
• 数据治理专员：负责元数据清单维护、采集纳入资产目录、合规性检查。
• 业务方：在人工补录场景下提供原始数据，并签字确认采集数据与业务一致。

2.6 记录材料

采集过程需归档以下记录，保存期限≥12个月：

• 《采集场景登记表》（含场景ID、描述、关联数据域）
• 《数据源确认单》（含连接测试截图）
• 《采集工具配置快照》（如NiFi流程JSON、Kafka Connector配置）
• 《试采集日志》（至少包含20条样本的原始数据和解析结果）

2.7 异常处理

2.8 验收标准

1. 完整性：每条记录的主键非空，必填字段无缺失（检查输出表空值率＜0.1%）。
2. 一致性：采集后数据与源数据在关键业务字段上逐条比对，匹配率≥99.9%。
3. 时效性：流采集端到端延迟≤5秒（P99）；批量迁移在预定窗口内完成。
4. 可追溯性：每条数据能追溯到采集任务ID、源文件/流分区及时间戳。
5. 文档齐全：2.6节中所有记录材料已归档并通过数据治理专员签核。

timeout 30 采集工具_CLI --test --input sample.bin

verify_field --schema schema_v2.json --data /tmp/test_output