📚 课程目录第2章自动驾驶数据基础

2. 自动驾驶数据基础

自动驾驶数据工程的第一性问题不是“怎么清洗”，而是“清洗什么”。要回答这个问题，必须先理解数据的来源、形态与组织方式。自动驾驶车辆本质上是一台高速移动的多模态数据采集平台：摄像头提供稠密纹理与语义，激光雷达提供精确三维几何，毫米波雷达提供速度与恶劣天气下的鲁棒探测，GPS/IMU 提供全局位姿与运动先验。四类传感器在时间、空间、语义三个维度上互补，也因此在数据清洗阶段呈现出完全不同的质量缺陷模式。

核心认知：多模态数据的价值不在单路信号本身，而在于“同一时刻、同一场景、同一坐标系”下的对齐与融合。清洗与去重的第一目标，是保护这种时空一致性不被破坏。

一、四类传感器的数据特点与典型缺陷

摄像头以固定帧率输出图像或视频流，常见为 1920×1080、30fps，H.264/H.265 压缩后单路约 4~8 Mbps。其优势是语义丰富，可直接用于目标检测、车道线识别和交通标志理解；缺陷则集中在运动模糊、过曝欠曝、镜头污渍、雨雪遮挡以及卷帘快门导致的几何畸变。在数据清洗中，摄像头数据最需要关注的是时间戳抖动、丢帧和曝光异常。

激光雷达输出三维点云，机械式雷达通常 10Hz、64 线，单帧约 10 万点；固态雷达帧率更高但视场受限。点云的核心价值是精确距离与三维结构，但存在运动畸变、反射率异常、雨雾噪点、近距离盲区和标定外参漂移等问题。点云清洗往往需要先做运动补偿，再剔除孤立噪点和地面误检。

毫米波雷达输出距离、方位、径向速度和 RCS 等稀疏目标级信息，更新率可达 20Hz 以上，穿透雨雾能力强，但角分辨率低、易产生多径虚假目标。其数据在清洗中常被用作速度真值校验，也需要识别静止杂波和护栏镜像目标。

GPS/IMU 提供厘米级到米级的定位与高频姿态信息，IMU 通常 100~200Hz。它们是融合定位和点云去畸变的时间基准，但会出现卫星失锁、多路径跳变、零偏漂移和积分发散。清洗时必须检测定位跳变与时间同步异常，否则会污染整个融合链路。

二、数据采集流程：从触发到落盘

一次规范的采集流程通常包含六个环节：任务规划、传感器标定、触发同步、数据落盘、元数据登记、回传归档。其中触发同步是质量的分水岭。若摄像头与激光雷达仅靠软件时间戳对齐，车辆高速运动时会产生数十毫秒偏差，直接导致点云投影到图像时出现“重影”。因此工程上普遍采用硬件触发脉冲加 PTP/gPTP 时钟同步，将各传感器时间戳统一到同一时钟域。

采集主机通常以 ROS bag 或 MCAP 格式记录原始消息，同时写入标定外参、车辆里程计和场景标签。落盘后立即生成元数据，包括片段起止时间、传感器在线状态、丢帧统计和定位质量。这一步看似繁琐，却是后续清洗去重能够自动化执行的前提。

# 典型采集片段目录结构
clip_20240512_143022/
├── camera_front.h265
├── camera_front.timestamps
├── lidar_top.pcd.bin
├── radar_front.can
├── gnss_imu.json
├── calibration.yaml
└── meta.yaml

# meta.yaml 关键字段示例
clip_id: clip_20240512_143022
duration_s: 20.0
sensors: [camera_front, lidar_top, radar_front, gnss_imu]
sync_mode: hardware_trigger + ptp
drop_frames: {camera_front: 0, lidar_top: 1}
gnss_status: RTK_FIXED

三、常见数据格式与存储方案对比

不同格式服务于不同阶段。原始采集强调“不丢信息”，训练与清洗强调“高吞吐随机读”，因此存储方案往往是分层组合，而不是单一格式通吃。

格式	典型用途	优势	局限
ROS bag / MCAP	原始多模态记录	保留完整消息与时序，生态成熟	随机读取慢，体积大
PCD / BIN	激光雷达点云	结构简单，读写快	无统一元数据，需外部索引
H.264 / H.265	摄像头视频	压缩率高，便于回传	有损压缩，影响像素级标注
Parquet	清洗后结构化数据	列式存储，压缩与扫描效率高	不适合原始非结构化流
HDF5	融合特征与中间结果	支持多维数组与层级组织	并发写入能力弱

四、案例与常见误区

某项目在清洗阶段发现大量“重复片段”，排查后并非采集重复，而是同一段数据被不同传感器时间戳切分成了多个近似片段。根因是摄像头时间戳来自系统时钟，激光雷达来自 PTP，两者在片段边界处相差约 80ms，导致去重算法误判。修复方式是在采集端统一时钟源，并在清洗前先做时间戳归一化。

常见误区一：只清洗单模态数据，忽略跨模态时间对齐。误区二：把压缩视频当作像素级真值使用。误区三：元数据缺失导致无法追溯丢帧与定位异常。误区四：用同一套去重阈值处理摄像头和点云，忽略两者数据密度差异。

实践建议：在数据进入清洗流水线之前，先建立“传感器—时间戳—坐标系—元数据”四要素校验。任何一项缺失，都应先补齐再清洗，否则后续去重与质量评分都建立在不可靠的基础上。

理解多模态数据的物理特性、采集链路与存储组织，是数据清洗去重工程的地基。只有先保证数据在时间、空间和语义上可对齐、可追溯，后续的异常检测、重复剔除和质量评分才有意义。