4. 数据治理与版本管理
在自动驾驶模型生命周期中，数据不是“一次性原料”，而是贯穿采集、标注、训练、验证、发布与回溯的可追溯资产。数据治理与版本管理的目标，是让每一份数据都能回答四个问题：从哪来、经过谁处理、对应哪个模型版本、是否满足合规约束。如果缺少治理，模型指标波动时往往无法定位是数据分布变化、标注漂移还是版本错配，发布治理也会失去依据。
一、数据采集规范：先定义场景，再定义传感器与元数据
采集规范不是简单规定“采多少小时”，而是把场景需求映射为采集任务。典型规范包含：场景标签体系（如城市道路、高速匝道、隧道、雨夜、逆光、施工区）、传感器配置（相机内参/外参、激光雷达线束、毫米波安装位置）、同步要求（时间戳对齐精度、触发方式）、存储格式（rosbag、mcap、图像+点云分片）、元数据字段（车辆VIN、采集日期、天气、光照、道路类型、驾驶员接管次数）。
采集任务应携带唯一任务ID，并与车辆、传感器标定版本绑定。例如：
task_id: COLLECT-2025-0417-003
vehicle_id: AV-021
sensor_calib_version: CAL-2025.03.12
scene_tags: [urban, night, rain, unprotected_left_turn]
sync_tolerance_ms: 5
storage: mcap + jpeg + pcd
metadata_required: [weather, illumination, road_type, takeover_count]若采集阶段缺少元数据，后续标注和训练就无法按场景切片评估，也无法判断某类场景是否被充分覆盖。因此，采集规范必须与数据平台字段对齐，做到“采集即入库、入库即带标签”。
二、标注质量管理：从抽检到闭环
标注质量管理的核心是可度量、可拦截、可回溯。常见质量维度包括：类别准确性、边界框/多边形贴合度、属性完整性、时序一致性、漏标与误标率。管理流程通常为：标注规范发布 → 标注员培训与考核 → 多级审核（自检、交叉检、专家抽检）→ 质量评分 → 不合格返修 → 入库冻结。
质量度量可用如下指标：
| 指标 | 定义 | 目标示例 | 拦截动作 |
|---|---|---|---|
| 漏标率 | 应标未标目标数 / 应标总数 | ≤ 1% | 返修并复检 |
| 误标率 | 错误类别或错误框数 / 标注总数 | ≤ 0.5% | 批次隔离 |
| 一致性Kappa | 多人标注一致程度 | ≥ 0.85 | 重新培训 |
| 时序抖动 | 相邻帧同一目标属性跳变次数 | ≤ 2次/100帧 | 时序复核 |
标注质量不是“最后抽检一次”，而应嵌入流水线：每批数据入库前自动计算质量分，低于阈值的数据集版本不允许进入训练。这样可避免“脏数据污染模型”，也能让标注供应商的绩效有客观依据。
三、数据集版本控制：像管理代码一样管理数据
数据集版本控制要解决可复现性。推荐采用“内容寻址 + 清单文件”的方式：原始数据不可变，每次筛选、清洗、标注更新生成新的清单（manifest），清单记录样本ID、标注版本、质量分、场景标签和哈希值。数据集版本号建议使用语义化版本，如 ds-urban-night-v1.3.0，其中主版本表示场景范围变化，次版本表示样本增删，修订号表示标注修正。
dataset_version: ds-urban-night-v1.3.0
parent: ds-urban-night-v1.2.0
manifest_hash: 9f2c...
sample_count: 18420
label_version: LAB-2025.04.01
quality_gate: pass
frozen_at: 2025-04-18T10:00:00Z版本控制还应支持差异对比：新增多少样本、删除多少、标注变更多少、场景分布如何变化。只有能对比，才能解释模型指标变化是“数据变了”还是“算法变了”。
四、数据血缘与合规要求：从样本到发布的全链路审计
数据血缘描述数据从采集到消费的完整链路：采集任务 → 原始包 → 解码切片 → 标注任务 → 标注版本 → 数据集版本 → 训练任务 → 模型版本 → 发布版本。每一跳都应记录操作者、时间、工具版本和参数。血缘的价值在于快速定位问题：当发现某模型在雨夜场景误检升高，可沿血缘反查该场景样本是否来自同一采集批次、标注是否由同一团队完成、是否被错误地混入训练集。
合规要求通常包括：个人信息脱敏（车牌、人脸）、地理围栏与测绘合规、数据出境限制、采集授权与保留期限、审计日志不可篡改。合规不是法务单点检查，而应作为数据流水线的门禁：未脱敏数据不得进入标注，未授权区域数据不得进入训练，超期数据自动归档或删除。
五、常见误区与复盘
- 误区一：只管理模型版本，不管理数据版本。结果同一模型无法复现，指标对比失去意义。应把数据集版本与模型版本绑定记录。
- 误区二：标注质量靠人工抽检。抽检覆盖率低，问题发现滞后。应把质量度量嵌入流水线，自动拦截低分批次。
- 误区三：血缘只记录到数据集。无法定位到具体采集任务和标注人员。血缘应细到样本级，至少到批次级。
- 误区四：合规检查放在发布前。此时返工成本最高。合规门禁应前移到采集和标注入口。
综上，数据采集规范决定数据“能不能用”，标注质量管理决定数据“准不准”，数据集版本控制决定实验“可不可复现”，数据血缘决定问题“能不能查”，合规要求决定数据“能不能合法使用”。五者共同构成自动驾驶模型发布治理的数据底座。