4. 数据采集与标注

数据是自动驾驶模型训练与评测的“燃料”。与普通图像数据集不同,自动驾驶数据天然是多模态、强时空关联、长尾分布且涉及隐私与地理合规的复杂资产。本章围绕多传感器数据采集、标注规范、质量控制、数据版本管理与合规要求五个环节,建立一条可追溯、可复用、可审计的数据流水线。

一、核心原理:多传感器数据采集

自动驾驶车辆通常搭载摄像头、激光雷达、毫米波雷达、IMU、GNSS/RTK 等传感器。采集的核心不是“录下来”,而是保证多源数据在时间与空间上可对齐、可回放、可标注。

  • 时间同步:以硬件触发或 PTP 授时统一时间基准,摄像头曝光时刻、激光雷达扫描帧、雷达目标时间戳需映射到同一时钟域,典型误差要求小于 1ms。
  • 空间标定:记录各传感器外参(旋转、平移)与内参,并随采集批次固化,避免标定漂移导致融合标注错位。
  • 触发策略:按里程、时间、事件(急刹、接管、目标进入 ROI)触发,兼顾常规场景与长尾场景。
  • 元数据:车速、转向、天气、光照、道路类型、采集城市等字段必须随帧记录,用于后续切片与合规过滤。
采集系统的关键指标:丢帧率、时间同步误差、标定有效期、单帧数据量、回放一致性。任何一项不达标,都会在标注阶段被放大为系统性噪声。

二、标注规范:从任务定义到标签体系

标注规范是数据质量的“法律”。它需要明确标注对象、属性、边界与例外。常见任务包括 3D 框标注、车道线、可行驶区域、语义分割、目标跟踪 ID、行为意图等。

标注任务关键属性常见歧义点规范要求
3D 目标框中心、尺寸、朝向、类别、遮挡截断目标是否标注可见比例 > 30% 必须标,朝向按车头方向
车道线类型、颜色、线型、拓扑虚实线切换点按 5m 间隔采样,切换点单独打点
可行驶区域边界、路面类型路沿与草地边界以物理可通行边界为准,不包含人行道
跟踪 ID目标唯一 ID、轨迹连续性遮挡后重识别遮挡 < 2s 保持同一 ID,超时新建

规范落地时,应配套标注手册、正负样例图、边界案例库与标注工具校验规则。标注工具需支持多传感器联合显示、快捷键、自动预标注与实时规则拦截。

三、质量控制:三级质检与指标闭环

质量控制不能只靠“抽检”。推荐采用“标注自检—交叉质检—专家仲裁”三级流程,并用量化指标驱动返工。

  1. 自检:标注员提交前运行规则校验,如框尺寸超限、类别非法、ID 跳变。
  2. 交叉质检:另一名标注员对同一帧独立复核,计算一致率。
  3. 专家仲裁:对争议帧、长尾场景、合规敏感帧进行终审。
# 质检指标示例
标注准确率 = 正确标注对象数 / 抽检对象总数
召回率     = 已标注真实目标数 / 真实目标总数
ID 切换率  = 跟踪 ID 异常切换次数 / 总轨迹数
一致率     = 两名标注员一致对象数 / 并集对象数
返工率     = 返工帧数 / 提交帧数
建议将准确率、召回率、ID 切换率纳入标注供应商 SLA,并与结算挂钩。对安全关键类别(行人、骑行者、锥桶)设置更高阈值。

四、数据版本管理与合规要求

数据版本管理要回答三个问题:这批数据从哪来、改过什么、能复现吗。推荐采用“数据集版本 + 标注版本 + 标定版本”三元组管理,任何训练任务必须锁定三者。

  • 版本命名:如 ds-2024Q3-cityA-v1.2,包含时间、区域、迭代号。
  • 变更记录:记录新增/删除帧、标注修订、标定更新、合规过滤。
  • 可复现:训练配置引用数据版本哈希,保证实验可回溯。
  • 血缘关系:从原始 rosbag 到切片、标注、增强、训练集的全链路追踪。

合规方面,需重点关注个人信息保护、测绘资质、数据出境与地理信息敏感点。人脸、车牌必须脱敏;采集区域需获得授权;跨境传输需评估法律依据。合规过滤应在数据入湖前完成,而非训练前临时处理。

常见误区:先采集再考虑合规,导致整批数据无法使用;标注规范只写“标清楚”,没有边界案例;版本管理只存最终文件,丢失中间修订;质检只看准确率,忽略召回率与 ID 连续性。

五、案例场景:城市 NOA 数据闭环

某城市 NOA 项目按“采集—切片—标注—质检—版本—训练—评测”闭环运行。采集车每日回传约 2TB 多传感器数据,经事件触发切片后保留 8% 高价值片段。标注采用 3D 框与车道线联合任务,质检一致率要求 ≥ 95%。数据版本每周发布一次,训练任务锁定版本哈希。合规团队对含人脸、车牌、敏感地理区域的帧进行脱敏与剔除。最终,该闭环将长尾场景召回率提升 18%,标注返工率下降 30%。

自动驾驶多传感器数据流水线 多传感器采集 摄像头 / 激光雷达 毫米波雷达 / IMU GNSS / RTK 时间同步 < 1ms 事件切片 急刹 / 接管 / ROI 里程 / 时间触发 元数据固化 保留率约 8% 标注 3D 框 / 车道线 可行驶区域 / 跟踪 ID 自动预标注 + 规则校验 规范手册 + 边界案例 质量控制 自检 → 交叉质检 → 专家仲裁 准确率 / 召回率 一致率 ≥ 95% 数据版本管理 数据集版本 + 标注版本 + 标定版本 → 训练任务锁定哈希 变更记录 · 血缘追踪 · 可复现实验 合规要求 人脸 / 车牌脱敏 · 测绘资质 · 数据出境评估 敏感地理区域过滤 · 入湖前完成合规检查 数据闭环反馈

综上,多传感器数据采集解决“采得全、对得齐”,标注规范解决“标得准、可执行”,质量控制解决“信得过、可量化”,版本管理解决“可复现、可追溯”,合规要求解决“用得了、不越界”。五者共同构成自动驾驶数据工程的底座,也是后续训练、评测与部署一体化的前提。