2、数据采集策略：明确采集目标、确定数据源类型、设计采集方案、制定采集计划、采集过程中的质量控制

数据采集是模型训练数据管线的第一道关卡。采集策略的优劣直接决定了后续清洗、标注、评估环节的工作量与最终模型性能的上限。本节从五个核心维度拆解数据采集策略，确保采集到的数据在覆盖度、时效性、一致性和合规性上满足训练要求。

2.1 明确采集目标

在启动任何采集任务之前，必须将业务需求转化为可量化的数据目标。目标定义不清晰是导致采集返工的首要原因。

目标定义至少包含以下三个维度：

2.2 确定数据源类型

根据采集目标，选择合适的数据源类型。常见的数据源分为自有生产数据、公开数据集、第三方采购数据和合成数据四大类。每种类型在成本、规模、版权和领域适配性上差异显著。

2.3 设计采集方案

采集方案是将目标与数据源转化为可执行操作的技术蓝图。方案设计需覆盖采样策略、采集设备与参数、数据格式与元数据规范三个核心模块。

2.3.1 采样策略

• 随机采样：适用于分布均匀的场景，简单但可能遗漏长尾样本。
• 分层采样：按关键属性（如光照、天气、角度）分层，保证各层都有足够样本。
• 主动学习采样：基于模型不确定性或多样性指标，优先采集模型当前表现差的样本。
• 困难样本挖掘：针对模型频繁出错的样本类型，定向增加采集密度。

2.3.2 采集设备与参数

设备选型直接影响数据质量。以图像采集为例，需明确：

2.3.3 数据格式与元数据规范

# 推荐的数据目录结构示例
data_collection/
├── raw/                    # 原始采集数据，不可修改
│   ├── session_001/
│   │   ├── images/
│   │   ├── lidar/
│   │   └── metadata.json
│   └── session_002/
├── metadata/               # 采集元数据
│   ├── device_calibration.yaml
│   ├── sensor_params.json
│   └── collection_log.csv
└── quality_reports/        # 质量检查报告
    └── session_001_report.html

2.4 制定采集计划

采集计划将方案落地为可执行的时间表与资源分配表。计划需包含以下要素：

• 阶段划分：试点采集 → 小规模验证 → 全量采集 → 补采/优化。
• 资源清单：设备数量、采集人员、存储空间、网络带宽、预算。
• 时间节点：每个阶段的起止时间、里程碑、交付物。
• 风险预案：设备故障、天气影响、数据泄露等突发情况的应对措施。

2.5 采集过程中的质量控制

质量控制不是采集完成后的检查环节，而是贯穿采集全过程的实时监控与反馈闭环。以下是核心控制手段：

2.5.1 实时质量监控

• 自动质量检测：在采集端部署轻量级检测脚本，实时检查图像模糊度、音频信噪比、传感器异常值等。
• 人工抽检：每批次采集数据按 5%~10% 比例随机抽检，由质检员标注“合格/不合格/需复检”。
• 元数据校验：检查元数据字段是否完整、格式是否正确、时间戳是否连续。

2.5.2 质量反馈闭环

当检测到质量问题时，立即触发以下流程：

1. 告警：通过日志或消息系统通知采集负责人。
2. 暂停：若问题批次不合格率超过阈值（如 > 10%），暂停当前采集任务。
3. 根因分析：定位问题来源（设备故障、操作失误、环境变化）。
4. 修复与重采：修复问题后，对受影响的数据进行重采或剔除。
5. 记录：将问题类型、原因、处理方式写入质量日志，用于后续流程优化。

2.5.3 质量记录与追溯

所有质量控制活动必须留下可追溯的记录。建议建立数据质量台账，包含以下字段：