2. 自动驾驶数据基础

自动驾驶数据质量与偏差分析的第一步,是建立对“数据从哪来、长什么样、怎么被标注、如何流转”的整体认知。传感器决定了数据的物理边界,数据模态决定了模型可消费的信息形态,标注格式决定了监督信号的表达方式,而数据集生命周期则决定了数据从采集到退役的完整治理路径。只有把这四层关系理清,后续的质量评估与偏差诊断才有稳定的坐标系。

一、传感器类型与数据模态的对应关系

自动驾驶车辆通常搭载多类传感器,它们各自输出不同模态的数据,并在时间与空间上形成互补。摄像头输出图像或视频,提供丰富的纹理与语义信息;激光雷达输出三维点云,提供精确的几何与距离信息;毫米波雷达输出距离、速度与角度,擅长测速与恶劣天气下的目标检测;IMU与GNSS输出位姿与运动信息,为多传感器融合提供时空基准;超声波雷达则多用于近距离泊车场景。

不同模态的数据在质量维度上差异显著。图像数据关注分辨率、曝光、运动模糊与色彩一致性;点云数据关注点密度、反射强度、遮挡与运动畸变;雷达数据关注信噪比、多普勒模糊与角度分辨率。偏差分析时,必须按模态分别建立质量指标,不能用一个统一阈值覆盖所有传感器。

传感器 → 数据模态 → 标注格式 → 生命周期 关系图 摄像头 图像 / 视频 激光雷达 3D 点云 毫米波雷达 距离 / 速度 / 角度 IMU / GNSS 位姿 / 运动 2D 边界框 / 语义分割 像素级标注 3D 框 / 点云分割 几何级标注 目标级轨迹 运动级标注 时间戳 / 标定参数 基准级标注 COCO / YOLO JSON / TXT KITTI / nuScenes JSON / BIN OpenLABEL JSON 标定文件 YAML / JSON 数据集生命周期 采集 清洗 标注 质检 版本发布 退役

二、标注格式:从像素到几何再到时序

标注格式是数据模态与模型训练之间的契约。常见格式可分为四类:第一类是图像级标注,如COCO的JSON结构,包含图像信息、类别列表与边界框/分割多边形;第二类是点云级标注,如KITTI的label文件与nuScenes的JSON表,记录3D框的中心、尺寸、朝向与类别;第三类是时序标注,如OpenLABEL支持轨迹与场景描述;第四类是标定与同步文件,记录相机内参、外参、时间戳对齐关系。

不同格式之间的转换是数据工程中的高频操作。例如将KITTI格式转换为COCO格式用于2D检测训练,或将nuScenes的3D框投影到图像平面生成2D伪标签。转换过程中最容易引入的偏差包括:坐标系定义不一致、类别映射遗漏、时间戳对齐误差、以及遮挡目标被错误保留或丢弃。

# KITTI 标注示例(每行一个目标)
Car 0.00 0 1.57 320.5 180.2 420.8 260.4 1.65 1.52 3.90 2.30 1.60 8.50 -1.62
Pedestrian 0.00 0 1.20 150.3 200.1 180.6 280.9 1.75 0.60 0.80 1.20 1.70 12.30 -1.55

# 字段顺序:类别 截断 遮挡 角度 2D框 3D尺寸 3D位置 旋转角

三、数据集生命周期与质量门禁

数据集不是一次性产物,而是一个持续演化的资产。典型生命周期包括:采集、清洗、标注、质检、版本发布、使用反馈与退役。每个阶段都应设置质量门禁。采集阶段关注传感器标定有效性、时间同步精度与场景覆盖度;清洗阶段关注无效帧、重复帧与极端曝光帧的剔除;标注阶段关注标注规范一致性与类别平衡;质检阶段关注抽样复核、一致性指标与偏差统计;版本发布阶段关注数据卡、变更日志与可追溯性。

质量门禁示例:在标注阶段,要求每批次数据至少抽取5%进行双人复核,若类别一致性低于95%,则该批次退回重标;在质检阶段,要求3D框与点云的重叠度IoU均值不低于0.75,否则触发偏差分析流程。

四、常见公开数据集概览与选型对比

公开数据集是算法验证与偏差分析的公共基准。不同数据集在传感器配置、场景分布、标注粒度与规模上差异明显,选型时需结合任务目标与偏差分析需求。

数据集 主要传感器 标注类型 规模特点 适用场景
KITTI 相机 + 激光雷达 + GPS/IMU 2D/3D框、光流、深度 约15万帧,城市与郊区 3D检测、光流估计
nuScenes 6相机 + 1激光雷达 + 5雷达 3D框、轨迹、场景描述 1000场景,多模态同步 多传感器融合、轨迹预测
Waymo Open 5相机 + 1激光雷达 3D框、2D框、轨迹 1150场景,高精度标注 3D检测、行为预测
Argoverse 7相机 + 2激光雷达 3D框、轨迹、地图 1130场景,含高精地图 轨迹预测、地图融合
BDD100K 单相机 2D框、分割、车道线 10万视频,多样天气 2D检测、场景理解

五、常见误区与复盘要点

  • 误区一:把模态差异当成噪声。图像模糊与点云稀疏是不同物理机制导致的,应分别建模,而不是统一降权。
  • 误区二:忽略标定与时间同步。多传感器融合中,外参误差1度或时间戳偏差10ms,都可能造成3D框投影到图像时明显偏移。
  • 误区三:只看标注数量,不看分布。夜间、雨天、隧道等长尾场景样本少,但恰恰是偏差分析的重点。
  • 误区四:数据集版本管理缺失。没有版本号与变更日志,无法复现实验,也无法定位偏差引入的时间点。
复盘建议:在每次数据集发布前,输出一份数据卡,至少包含:传感器配置、采集时间与地点、标注规范版本、类别分布直方图、已知偏差与限制。数据卡是后续偏差分析的第一手依据。

综上,传感器类型决定了数据的物理来源,数据模态决定了信息的表达形态,标注格式决定了监督信号的契约,数据集生命周期决定了治理路径,而公开数据集提供了可对比的公共基准。理解这五者的关系,是开展自动驾驶数据集质量与偏差分析的基础前提。