1. 课程导入
自动驾驶系统的能力上限，很大程度上由训练数据的质量与治理水平决定。感知模型要识别雨夜中的锥桶，预测模型要理解加塞车辆的意图，规划模型要处理施工路段的临时改道——这些能力背后，都依赖一套可持续、可追溯、可审计的数据治理体系。本课程围绕“训练数据治理工程”展开，目标是把数据从“能用的素材”变成“可复用的工程资产”。
一、什么是自动驾驶训练数据治理
训练数据治理，是指在自动驾驶数据全生命周期中，对数据的采集、接入、清洗、标注、质检、版本、权限、合规与退役进行系统化管理的一整套工程实践。它不是单一工具，也不是一次性的数据清洗，而是贯穿“数据产生—数据加工—数据消费—数据反馈”的闭环机制。
可以用一个简单的公式理解：
可训练数据资产 = 原始数据 × 标注质量 × 场景覆盖度 × 版本可追溯性 × 合规可用性其中任何一项趋近于零，整体价值都会迅速衰减。例如，标注质量很高但版本混乱，模型迭代时无法复现实验；场景覆盖度很广但合规授权不清，数据无法进入训练集群。因此，治理的核心不是“把数据变多”，而是“让数据可信、可控、可复用”。
核心原理：数据治理的本质是建立“数据契约”。每一批数据从进入数据湖开始，就应携带来源、时间、传感器配置、标注规范、质检结论、授权范围等元信息。元信息越完整，数据在后续训练、评测、审计中的可解释性越强。
二、为什么自动驾驶尤其需要数据治理
与互联网推荐、语音识别等场景相比，自动驾驶训练数据有三个显著特点：
- 多模态强耦合：同一时刻的摄像头、激光雷达、毫米波雷达、IMU、GNSS 数据必须严格时间同步，否则标注框会“漂移”。
- 长尾场景昂贵：一次罕见事故场景的采集、标注、质检成本极高，若因版本管理混乱而丢失，损失不可逆。
- 合规要求严格：涉及人脸、车牌、地理坐标等敏感信息，必须满足脱敏、授权、跨境传输等法规要求。
下面这张图展示了训练数据治理的核心对象与流转关系：原始数据经过接入与清洗后进入标注与质检，再通过版本与权限管理形成可消费的数据集，最终服务于模型训练与评测，并通过反馈回流持续优化采集策略。
三、学习目标与能力地图
完成本课程后，学习者应具备以下能力：
- 定义与拆解：能够把“数据治理”拆解为采集、清洗、标注、质检、版本、权限、合规等可执行模块。
- 指标设计：能够为每个模块设计可量化的质量指标，如标注一致率、场景覆盖率、数据新鲜度、坏帧率。
- 流程落地：能够设计一条从原始数据到训练数据集的自动化流水线，并配置质量门禁。
- 问题排查：能够定位“模型指标下降”背后的数据原因，如标签漂移、分布偏移、版本错配。
- 合规与成本：能够在满足法规要求的前提下，平衡存储成本、标注成本与模型收益。
四、整体课程框架
本课程共 30 章，按照“认知—建设—运营—进阶”四段式组织：
| 阶段 | 章节范围 | 核心内容 | 产出物 |
|---|---|---|---|
| 认知篇 | 第 1–6 章 | 定义、重要性、数据生命周期、角色分工、法规概览 | 治理蓝图与术语表 |
| 建设篇 | 第 7–16 章 | 采集规范、清洗流水线、标注体系、质检规则、版本管理 | 数据流水线与质量门禁 |
| 运营篇 | 第 17–24 章 | 数据闭环、badcase 挖掘、场景库运营、成本优化 | 数据运营看板与迭代机制 |
| 进阶篇 | 第 25–30 章 | 自动化标注、合成数据、隐私计算、审计与复盘 | 治理成熟度评估与改进方案 |
五、常见误区与复盘视角
误区一：把治理等同于清洗。清洗只是治理的一个环节。没有版本管理和权限控制，清洗后的数据依然可能在训练中被误用。
误区二：先堆数据，再谈质量。低质量数据进入训练集后，排查成本远高于采集成本。治理应前置到采集规范设计阶段。
误区三：忽视元数据。没有元数据的数据集，就像没有生产日期的食品，无法判断是否还能“食用”。
复盘建议：每完成一轮模型迭代，回看三个问题——本轮新增数据解决了哪些 badcase？哪些场景仍然缺失？数据版本是否可复现？把答案写入治理台账，形成组织记忆。
自动驾驶训练数据治理工程，最终目标不是建立一套庞大的流程，而是让数据在需要的时候“找得到、信得过、用得起、说得清”。接下来的章节，将从数据生命周期与角色分工开始，逐步展开这套体系的建设与运营方法。