3. 数据治理概述
在自动驾驶研发体系中，数据不是“附属产物”，而是与算法、算力并列的核心生产资料。数据治理（Data Governance）要解决的不是“把数据存起来”，而是让数据在采集、标注、训练、验证、回灌的全生命周期中可发现、可信任、可追溯、可合规、可复用。它是一套覆盖组织、流程、标准与技术的决策与约束机制。
一、核心概念：从“管文件”到“管资产”
数据治理的核心对象包括数据资产目录、元数据、数据标准、数据质量、数据安全与主数据。对自动驾驶而言，最关键的四个概念是：
- 数据资产：一段高速匝道切入的连续帧，不只是 30 秒视频，而是带有场景标签、车辆状态、传感器标定版本、采集地点与合规授权的“可训练资产”。
- 元数据：描述数据的数据，如采集时间、天气、光照、道路类型、传感器型号、标定文件版本、标注版本、脱敏状态。
- 数据血缘：从原始 rosbag 到切片、标注、增强、训练集、模型版本的完整链路，用于问题回溯与责任界定。
- 数据质量：完整性、准确性、一致性、时效性、唯一性、有效性六个维度，在自动驾驶中还要加上“场景覆盖度”和“标注一致性”。
数据治理不是一次性项目，而是持续运营的“数据产品化”过程：原始数据 → 标准化数据 → 场景化数据 → 训练数据集 → 模型反馈数据。
二、治理原则：自动驾驶数据治理的六条底线
- 权责明确：每个数据集必须有数据 Owner、数据 Steward 和合规责任人，避免“三不管”数据湖。
- 标准先行：采集协议、标注规范、命名规则、版本号规则先于数据入库，否则后期清洗成本指数级上升。
- 质量内建：质量检查嵌入采集与标注流水线，而不是训练前才做“大扫除”。
- 安全合规：人脸、车牌、地理围栏、测绘资质、跨境传输必须前置评估，脱敏与授权链不可缺失。
- 全链路可追溯：任何一条训练样本都能回答“从哪来、谁标的、哪版模型用过、效果如何”。
- 价值驱动：治理投入应服务于长尾场景覆盖、模型迭代效率和合规审计，而非追求“数据量最大”。
三、成熟度模型：从混乱到自治的五级演进
可参考 DAMA 与 DCMM 思路，将自动驾驶数据治理成熟度划分为五级。下表给出各级特征与典型痛点：
| 等级 | 特征 | 典型表现 | 关键动作 |
|---|---|---|---|
| L1 初始级 | 无标准、无目录 | 数据散落在个人硬盘与临时 NAS | 建立统一存储与命名规范 |
| L2 受管级 | 有目录与基础元数据 | 能查到数据位置，但质量参差 | 定义元数据模型与质量规则 |
| L3 标准级 | 标准、流程、角色落地 | 采集标注有规范，版本可追溯 | 建设数据血缘与质量看板 |
| L4 量化级 | 指标驱动、持续度量 | 场景覆盖度、标注一致性可量化 | 数据闭环与自动回流 |
| L5 自治级 | 策略自动执行、主动治理 | 异常自动告警、数据自动补采 | AI 辅助标注与主动学习 |
多数自动驾驶团队处于 L2 到 L3 之间。跃迁的关键不是买工具，而是先明确“谁对哪类数据负责、按什么标准验收”。
四、自动驾驶领域的特殊性
与金融、电商等传统数据治理相比，自动驾驶数据治理面临四个独特挑战：
- 多模态异构：摄像头、激光雷达、毫米波雷达、IMU、GNSS 的时间同步与空间标定必须一致，否则“同一时刻”的数据无法融合。
- 时空强关联：数据价值高度依赖场景，一段数据离开时间戳、位姿和标定版本后几乎不可用。
- 长尾与安全：99% 的常规场景价值有限，1% 的极端场景决定系统安全，治理必须支持“按场景检索与补采”。
- 合规高压：涉及测绘、个人信息、道路数据出境，治理流程必须内嵌合规审查节点。
实操建议：在数据入库时强制写入
scene_tag、sensor_calib_version、desensitize_status、license_id 四个字段，可显著降低后期检索与审计成本。
五、案例与误区复盘
某团队在训练城市 NOA 模型时发现“夜间无路灯路口”场景召回率低。排查发现：采集数据中该场景样本仅占 0.3%，且标注规范未定义“无路灯”标签，导致无法检索。复盘后，团队做了三件事：建立场景标签体系、在采集端增加场景自动打标、将质量看板与模型指标联动。三个月后，该场景召回率提升 18%。
常见误区：把数据治理等同于“买一个数据平台”。平台只是载体，若没有标准、责任人和闭环流程，数据湖很快会退化为“数据沼泽”。另一个误区是只治理训练集，忽略验证集与回灌数据的同源治理，导致评估结果不可信。
综上，自动驾驶数据治理的本质是：用工程化手段把“数据”变成“可审计、可复用、可迭代的资产”。它既需要顶层原则与成熟度路径，也需要在采集、标注、训练、回灌每个环节落地具体标准与工具。