4. 数据采集与标注
数据是自动驾驶模型训练与评测的“燃料”。与普通图像数据集不同,自动驾驶数据天然是多模态、强时空关联、长尾分布且涉及隐私与地理合规的复杂资产。本章围绕多传感器数据采集、标注规范、质量控制、数据版本管理与合规要求五个环节,建立一条可追溯、可复用、可审计的数据流水线。
一、核心原理:多传感器数据采集
自动驾驶车辆通常搭载摄像头、激光雷达、毫米波雷达、IMU、GNSS/RTK 等传感器。采集的核心不是“录下来”,而是保证多源数据在时间与空间上可对齐、可回放、可标注。
- 时间同步:以硬件触发或 PTP 授时统一时间基准,摄像头曝光时刻、激光雷达扫描帧、雷达目标时间戳需映射到同一时钟域,典型误差要求小于 1ms。
- 空间标定:记录各传感器外参(旋转、平移)与内参,并随采集批次固化,避免标定漂移导致融合标注错位。
- 触发策略:按里程、时间、事件(急刹、接管、目标进入 ROI)触发,兼顾常规场景与长尾场景。
- 元数据:车速、转向、天气、光照、道路类型、采集城市等字段必须随帧记录,用于后续切片与合规过滤。
二、标注规范:从任务定义到标签体系
标注规范是数据质量的“法律”。它需要明确标注对象、属性、边界与例外。常见任务包括 3D 框标注、车道线、可行驶区域、语义分割、目标跟踪 ID、行为意图等。
| 标注任务 | 关键属性 | 常见歧义点 | 规范要求 |
|---|---|---|---|
| 3D 目标框 | 中心、尺寸、朝向、类别、遮挡 | 截断目标是否标注 | 可见比例 > 30% 必须标,朝向按车头方向 |
| 车道线 | 类型、颜色、线型、拓扑 | 虚实线切换点 | 按 5m 间隔采样,切换点单独打点 |
| 可行驶区域 | 边界、路面类型 | 路沿与草地边界 | 以物理可通行边界为准,不包含人行道 |
| 跟踪 ID | 目标唯一 ID、轨迹连续性 | 遮挡后重识别 | 遮挡 < 2s 保持同一 ID,超时新建 |
规范落地时,应配套标注手册、正负样例图、边界案例库与标注工具校验规则。标注工具需支持多传感器联合显示、快捷键、自动预标注与实时规则拦截。
三、质量控制:三级质检与指标闭环
质量控制不能只靠“抽检”。推荐采用“标注自检—交叉质检—专家仲裁”三级流程,并用量化指标驱动返工。
- 自检:标注员提交前运行规则校验,如框尺寸超限、类别非法、ID 跳变。
- 交叉质检:另一名标注员对同一帧独立复核,计算一致率。
- 专家仲裁:对争议帧、长尾场景、合规敏感帧进行终审。
# 质检指标示例
标注准确率 = 正确标注对象数 / 抽检对象总数
召回率 = 已标注真实目标数 / 真实目标总数
ID 切换率 = 跟踪 ID 异常切换次数 / 总轨迹数
一致率 = 两名标注员一致对象数 / 并集对象数
返工率 = 返工帧数 / 提交帧数
四、数据版本管理与合规要求
数据版本管理要回答三个问题:这批数据从哪来、改过什么、能复现吗。推荐采用“数据集版本 + 标注版本 + 标定版本”三元组管理,任何训练任务必须锁定三者。
- 版本命名:如
ds-2024Q3-cityA-v1.2,包含时间、区域、迭代号。 - 变更记录:记录新增/删除帧、标注修订、标定更新、合规过滤。
- 可复现:训练配置引用数据版本哈希,保证实验可回溯。
- 血缘关系:从原始 rosbag 到切片、标注、增强、训练集的全链路追踪。
合规方面,需重点关注个人信息保护、测绘资质、数据出境与地理信息敏感点。人脸、车牌必须脱敏;采集区域需获得授权;跨境传输需评估法律依据。合规过滤应在数据入湖前完成,而非训练前临时处理。
五、案例场景:城市 NOA 数据闭环
某城市 NOA 项目按“采集—切片—标注—质检—版本—训练—评测”闭环运行。采集车每日回传约 2TB 多传感器数据,经事件触发切片后保留 8% 高价值片段。标注采用 3D 框与车道线联合任务,质检一致率要求 ≥ 95%。数据版本每周发布一次,训练任务锁定版本哈希。合规团队对含人脸、车牌、敏感地理区域的帧进行脱敏与剔除。最终,该闭环将长尾场景召回率提升 18%,标注返工率下降 30%。
综上,多传感器数据采集解决“采得全、对得齐”,标注规范解决“标得准、可执行”,质量控制解决“信得过、可量化”,版本管理解决“可复现、可追溯”,合规要求解决“用得了、不越界”。五者共同构成自动驾驶数据工程的底座,也是后续训练、评测与部署一体化的前提。