4. 传感器与数据采集

自动驾驶长尾场景的挖掘，前提是数据本身“可用、可对齐、可复现”。摄像头、激光雷达、毫米波雷达、GPS/IMU 四类传感器在物理量纲、采样频率、坐标系与时间基准上差异巨大，若采集阶段没有统一的时间与空间基准，后续标注、融合与回放都会出现难以修复的偏差。本节围绕多模态采集方案与同步策略展开，重点说明硬件触发、时间戳对齐、外参标定与数据落盘的关键工程做法。

一、核心原理：多模态采集的三条基准线

多模态采集的本质，是把不同传感器在同一物理世界中的观测，映射到统一的时间轴、空间坐标系和存储格式上。可以归纳为三条基准线：

• 时间基准：所有传感器时间戳必须溯源到同一时钟源，通常使用 GPS 的 PPS（秒脉冲）或 PTP（精确时间协议）作为全局时钟，避免各传感器使用本地晶振导致漂移。
• 空间基准：以车辆后轴中心或 IMU 中心为车体坐标系原点，通过外参标定把相机、激光雷达、毫米波雷达的观测统一到车体坐标系。
• 数据基准：统一消息格式（如 ROS bag、Protobuf、MCAP）与统一字段命名，保证不同车型、不同批次的采集数据可被同一套解析工具处理。

二、传感器特性与采集参数

四类传感器在长尾场景中的角色不同，采集参数也需区别设置。下表给出典型配置与关注点：

采集参数需根据场景动态调整。例如进入隧道前，相机应切换为高动态范围模式，激光雷达可提高回波灵敏度，IMU 需记录零偏状态以便事后补偿。参数配置应随数据一同落盘，形成可追溯的采集元数据。

三、同步策略：硬件触发与时间戳对齐

同步策略分为三个层次：

1. 硬件触发同步：由采集主机或同步盒发出周期性触发信号，同时触发相机曝光、激光雷达扫描起始、雷达发射周期。硬件触发可把不同传感器的采样时刻对齐到同一时钟沿，误差通常在微秒级。
2. 时间戳对齐：每个传感器在采样瞬间记录全局时间戳，写入数据包。对于不支持硬件触发的传感器，采用 PTP 或 GPS PPS 进行时钟驯服，把本地时间映射到全局时间。
3. 软件插值对齐：在数据使用阶段，以某一主传感器（通常为激光雷达或 IMU）为基准，对其他传感器数据做线性插值或运动补偿，生成统一频率的对齐帧。

以下是一个典型的采集配置片段，用于说明触发与时间戳字段的组织方式：

sensor:
  camera_front:
    trigger: hardware
    fps: 30
    timestamp_source: gps_pps
  lidar_top:
    trigger: hardware
    fps: 10
    timestamp_source: ptp
  radar_front:
    trigger: hardware
    fps: 20
    timestamp_source: ptp
  imu:
    trigger: internal
    rate: 200
    timestamp_source: gps_pps
sync:
  master: lidar_top
  tolerance_ms: 5
  interpolation: linear

四、案例场景：城市路口长尾采集

以城市无保护左转场景为例，车辆需要在路口等待对向直行车辆通过。该场景的长尾价值在于：对向车辆可能被大型车辆遮挡、非机动车突然横穿、行人闯红灯等。采集方案需保证：

• 前向相机以 60 fps 采集，确保快速横穿目标不丢帧；
• 激光雷达以 10 Hz 扫描，重点覆盖路口对向 50 米范围；
• 毫米波雷达以 20 Hz 输出目标距离与速度，弥补视觉在逆光下的不足；
• IMU 以 200 Hz 记录车辆姿态，用于运动补偿与轨迹重建。

同步上，以激光雷达为基准帧，相机与雷达数据按时间戳插值到激光雷达帧时刻，IMU 用于补偿车辆在帧间的微小运动。采集完成后，通过检查各传感器时间戳的差值分布，判断同步是否达标。若相机与激光雷达时间戳差值超过 5 ms，需检查触发线缆或时钟源配置。

五、误区与复盘

常见误区包括：

• 只记录本地时间戳：不同传感器本地时钟漂移不同，事后无法对齐，必须统一到全局时钟。
• 忽略外参标定：采集时未标定，事后融合时相机与激光雷达点云错位，长尾目标位置失真。
• 触发频率不匹配：相机 30 fps 与激光雷达 10 Hz 无法整除，导致部分帧无对应点云，需通过插值或调整频率解决。
• 数据落盘丢帧：高带宽下磁盘写入不足，导致关键帧丢失，应使用环形缓冲与写入监控。

综上，多模态采集方案的核心在于“统一基准、硬件触发、时间戳对齐、外参标定、质量检查”五个环节。只有把同步做在采集阶段，长尾场景数据才具备真正的工程价值，后续的标注、融合与模型训练才能建立在可靠的数据基础之上。