4. 数据采集与标注工程
端到端自动驾驶模型的上限，往往在数据进入训练框架之前就已经被决定。多传感器同步采集、时间戳对齐与高质量标注，构成了数据闭环中最底层、也最容易被低估的工程环节。本章围绕采集、对齐、标注类型与质量控制四条主线展开，帮助建立可复用的数据工程规范。
一、多传感器同步采集：硬件触发与软件对齐
自动驾驶车辆通常搭载相机、激光雷达、毫米波雷达、IMU 与 GNSS 等异构传感器。它们的数据率、接口与延迟各不相同，若直接按各自时钟落盘，后续融合会出现“同一时刻看到不同世界”的问题。工程上通常采用两级同步：硬件触发同步负责让传感器在同一物理时刻曝光或扫描，软件时间戳对齐负责把各传感器数据映射到统一时间轴。
硬件同步常见做法是由域控制器或 PTP 主时钟输出同步脉冲（如 10Hz 或 20Hz），相机接受外触发曝光，激光雷达接受角度或相位同步信号，IMU 以高频内部采样并记录触发计数。软件侧则依赖 PTP/gPTP 或 GPS 秒脉冲（PPS）完成绝对时间对齐，确保不同设备的时间戳可比较。
二、时间戳对齐：从原始时钟到统一时间轴
时间戳对齐的目标是：给定任意一个参考时刻，能够找到各传感器最接近该时刻的采样，并量化其误差。常见流程包括：时钟源统一、时间戳插值、运动补偿与对齐误差评估。
对于相机，曝光时刻与读出时刻不同，需要记录曝光中间时刻；对于激光雷达，一帧数据是连续扫描形成的，需按点记录相对时间并做运动畸变校正；对于 IMU，则通过积分提供高频姿态，用于插值其他传感器时刻的位姿。对齐后通常输出一个统一的时间索引文件，例如：
frame_id: 000123
ref_time_ns: 1712048123456789
camera_front: {ts_ns: 1712048123456000, delta_ms: -0.79}
lidar_top: {ts_ns: 1712048123459000, delta_ms: +2.21}
imu: {ts_ns: 1712048123456700, delta_ms: -0.09}
gnss: {ts_ns: 1712048123400000, delta_ms: -56.79}
sync_status: OK
一般要求相机与激光雷达对齐误差控制在 5ms 以内，IMU 在 1ms 以内；若超过阈值，应标记为可疑帧并进入人工复核或丢弃流程。
三、标注类型：从 2D 框到轨迹
不同任务对标注粒度的要求差异很大。2D 框用于图像目标检测，3D 框用于点云与空间定位，语义分割用于可行驶区域与背景理解，车道线用于横向控制，轨迹用于预测与规划。实际项目中，这些标注往往需要跨模态一致，例如 3D 框投影到图像后应与 2D 框对齐。
| 标注类型 | 典型对象 | 关键属性 | 常见工具 |
|---|---|---|---|
| 2D 框 | 车辆、行人、交通灯 | 类别、遮挡、截断 | CVAT、LabelImg |
| 3D 框 | 车辆、骑行者、锥桶 | 中心点、尺寸、朝向、速度 | SUSTechPOINTS、BasicAI |
| 语义分割 | 道路、天空、植被、建筑 | 像素级类别、边界精度 | LabelMe、Supervisely |
| 车道线 | 实线、虚线、路沿 | 线型、颜色、曲率、拓扑 | 内部标注平台 |
| 轨迹 | 自车、他车、行人 | 时序点、速度、加速度 | 轨迹标注工具 |
四、标注工具与质量控制流程
标注工具的选择应关注三点：是否支持多传感器联合标注、是否支持预标注与模型辅助、是否具备版本管理与权限控制。常见流程为：数据入库 → 预标注 → 人工标注 → 交叉复核 → 质检抽检 → 入库版本化。
质量控制通常采用“三级检查”：标注员自检、组长复核、质检抽检。关键指标包括框的贴合度、类别准确率、漏标率与一致性。对于 3D 框，还需检查朝向角误差与尺寸合理性；对于轨迹，需检查时序连续性与运动学合理性。
五、常见误区与复盘
- 只对齐图像与点云，忽略 IMU 时间基准：导致高速场景下位姿插值误差放大。
- 标注规范未版本化：同一批数据前后标准不一致，模型学到矛盾信号。
- 过度依赖预标注：预标注错误被人工“顺带接受”，漏检率上升。
- 质检只看抽样数量，不看错误分布：小样本抽检无法覆盖长尾场景。
综上，多传感器同步采集解决“同一时刻”的问题，时间戳对齐解决“同一时间轴”的问题，标注类型解决“同一语义”的问题，质量控制解决“同一标准”的问题。四者共同构成端到端自动驾驶数据训练与评测工程的可信基础。