2. 自动驾驶数据基础
自动驾驶数据质量与偏差分析的第一步,是建立对“数据从哪来、长什么样、怎么被标注、如何流转”的整体认知。传感器决定了数据的物理边界,数据模态决定了模型可消费的信息形态,标注格式决定了监督信号的表达方式,而数据集生命周期则决定了数据从采集到退役的完整治理路径。只有把这四层关系理清,后续的质量评估与偏差诊断才有稳定的坐标系。
一、传感器类型与数据模态的对应关系
自动驾驶车辆通常搭载多类传感器,它们各自输出不同模态的数据,并在时间与空间上形成互补。摄像头输出图像或视频,提供丰富的纹理与语义信息;激光雷达输出三维点云,提供精确的几何与距离信息;毫米波雷达输出距离、速度与角度,擅长测速与恶劣天气下的目标检测;IMU与GNSS输出位姿与运动信息,为多传感器融合提供时空基准;超声波雷达则多用于近距离泊车场景。
不同模态的数据在质量维度上差异显著。图像数据关注分辨率、曝光、运动模糊与色彩一致性;点云数据关注点密度、反射强度、遮挡与运动畸变;雷达数据关注信噪比、多普勒模糊与角度分辨率。偏差分析时,必须按模态分别建立质量指标,不能用一个统一阈值覆盖所有传感器。
二、标注格式:从像素到几何再到时序
标注格式是数据模态与模型训练之间的契约。常见格式可分为四类:第一类是图像级标注,如COCO的JSON结构,包含图像信息、类别列表与边界框/分割多边形;第二类是点云级标注,如KITTI的label文件与nuScenes的JSON表,记录3D框的中心、尺寸、朝向与类别;第三类是时序标注,如OpenLABEL支持轨迹与场景描述;第四类是标定与同步文件,记录相机内参、外参、时间戳对齐关系。
不同格式之间的转换是数据工程中的高频操作。例如将KITTI格式转换为COCO格式用于2D检测训练,或将nuScenes的3D框投影到图像平面生成2D伪标签。转换过程中最容易引入的偏差包括:坐标系定义不一致、类别映射遗漏、时间戳对齐误差、以及遮挡目标被错误保留或丢弃。
# KITTI 标注示例(每行一个目标)
Car 0.00 0 1.57 320.5 180.2 420.8 260.4 1.65 1.52 3.90 2.30 1.60 8.50 -1.62
Pedestrian 0.00 0 1.20 150.3 200.1 180.6 280.9 1.75 0.60 0.80 1.20 1.70 12.30 -1.55
# 字段顺序:类别 截断 遮挡 角度 2D框 3D尺寸 3D位置 旋转角
三、数据集生命周期与质量门禁
数据集不是一次性产物,而是一个持续演化的资产。典型生命周期包括:采集、清洗、标注、质检、版本发布、使用反馈与退役。每个阶段都应设置质量门禁。采集阶段关注传感器标定有效性、时间同步精度与场景覆盖度;清洗阶段关注无效帧、重复帧与极端曝光帧的剔除;标注阶段关注标注规范一致性与类别平衡;质检阶段关注抽样复核、一致性指标与偏差统计;版本发布阶段关注数据卡、变更日志与可追溯性。
四、常见公开数据集概览与选型对比
公开数据集是算法验证与偏差分析的公共基准。不同数据集在传感器配置、场景分布、标注粒度与规模上差异明显,选型时需结合任务目标与偏差分析需求。
| 数据集 | 主要传感器 | 标注类型 | 规模特点 | 适用场景 |
|---|---|---|---|---|
| KITTI | 相机 + 激光雷达 + GPS/IMU | 2D/3D框、光流、深度 | 约15万帧,城市与郊区 | 3D检测、光流估计 |
| nuScenes | 6相机 + 1激光雷达 + 5雷达 | 3D框、轨迹、场景描述 | 1000场景,多模态同步 | 多传感器融合、轨迹预测 |
| Waymo Open | 5相机 + 1激光雷达 | 3D框、2D框、轨迹 | 1150场景,高精度标注 | 3D检测、行为预测 |
| Argoverse | 7相机 + 2激光雷达 | 3D框、轨迹、地图 | 1130场景,含高精地图 | 轨迹预测、地图融合 |
| BDD100K | 单相机 | 2D框、分割、车道线 | 10万视频,多样天气 | 2D检测、场景理解 |
五、常见误区与复盘要点
- 误区一:把模态差异当成噪声。图像模糊与点云稀疏是不同物理机制导致的,应分别建模,而不是统一降权。
- 误区二:忽略标定与时间同步。多传感器融合中,外参误差1度或时间戳偏差10ms,都可能造成3D框投影到图像时明显偏移。
- 误区三:只看标注数量,不看分布。夜间、雨天、隧道等长尾场景样本少,但恰恰是偏差分析的重点。
- 误区四:数据集版本管理缺失。没有版本号与变更日志,无法复现实验,也无法定位偏差引入的时间点。
综上,传感器类型决定了数据的物理来源,数据模态决定了信息的表达形态,标注格式决定了监督信号的契约,数据集生命周期决定了治理路径,而公开数据集提供了可对比的公共基准。理解这五者的关系,是开展自动驾驶数据集质量与偏差分析的基础前提。