📚 课程目录第3章数据采集与传感器

3. 数据采集与传感器

交通参与者运动预测的第一步，是把真实世界中的运动状态转化为可计算的数据。不同传感器对同一场景的观测方式差异极大：摄像头提供稠密纹理与语义，激光雷达提供精确三维几何，毫米波雷达提供速度与穿透能力，GPS/IMU提供全局位姿与自车运动基准。理解它们的数据特点，是设计融合策略的前提。

一、核心原理：四类传感器的数据本质

摄像头以二维像素阵列记录光强与色彩，帧率通常为10～60 FPS，水平视场角可达60°～120°。其优势是能识别车道线、交通标志、行人姿态等语义信息，但缺乏直接深度，且受光照、雨雾、逆光影响显著。激光雷达通过发射激光束并测量回波时间，输出三维点云，测距精度可达厘米级，能直接刻画目标轮廓与位置，但点云稀疏、无纹理，且对雨雪、扬尘敏感。毫米波雷达利用多普勒效应测量径向速度，在恶劣天气下仍能稳定工作，测速精度高，但角分辨率较低，易产生多径虚假目标。GPS/IMU提供自车全局位置、速度、航向与加速度，是运动预测的时空基准，但在城市峡谷、隧道中信号易丢失，需与轮速计、视觉里程计组合。

关键认知：没有任何单一传感器能同时满足“高语义、高几何、高速度、全天候、低成本”五个条件，融合的本质是用互补性换取鲁棒性。

二、方法流程：从时间同步到特征融合

多传感器融合通常遵循“标定—同步—关联—融合”四步流程。首先进行外参标定，确定各传感器坐标系之间的旋转平移关系；其次进行时间同步，将不同频率的数据对齐到统一时间戳；然后进行空间关联，把同一目标在不同传感器中的观测对应起来；最后在数据层、特征层或决策层完成融合。

# 典型融合参数配置示例
camera:
  resolution: 1920x1080
  fps: 30
  fov_h: 120°
lidar:
  channels: 128
  range: 200m
  points_per_sec: 2,400,000
radar:
  range: 250m
  velocity_resolution: 0.1 m/s
  fov_h: 90°
gps_imu:
  update_rate: 100Hz
  position_accuracy: 1.5m CEP
sync:
  method: PTP + hardware trigger
  max_offset: 1ms

数据层融合直接拼接原始数据，信息损失最小但计算量大；特征层融合提取各传感器特征后拼接或加权，兼顾精度与效率；决策层融合对各传感器独立检测结果进行投票或概率融合，实现简单但信息利用不充分。工程中常采用“特征层为主、决策层兜底”的混合架构。

三、案例场景：城市路口行人预测的融合链路

以城市十字路口行人横穿预测为例。摄像头检测到行人边界框与朝向，激光雷达提供行人的三维位置与体型点云，毫米波雷达给出径向速度，GPS/IMU提供自车运动状态。融合模块将四路信息对齐到同一时空坐标系后，输出行人的位置、速度、朝向及不确定性，送入预测网络。

在该链路中，摄像头弥补激光雷达缺乏语义的短板，激光雷达弥补摄像头缺乏深度的短板，毫米波雷达在雨雾天气提供速度冗余，GPS/IMU保证全局一致性。四者融合后，行人位置误差可从单传感器的1.5米降至0.3米以内，速度估计误差降低约40%。

四、误区与复盘：融合不是简单叠加

常见误区一：忽视时间同步。摄像头30 FPS、激光雷达10 Hz、雷达20 Hz，若不做硬件触发对齐，高速场景下目标位置偏差可达数十厘米。误区二：标定后不再校验。车辆振动、温度变化会导致外参漂移，需定期在线校验。误区三：盲目追求数据层融合。原始点云与图像拼接计算量巨大，实时性难以保证，工程中应优先特征层融合。

传感器	核心数据	优势	局限	融合角色
摄像头	二维图像、语义	纹理丰富、成本低	无深度、受光照影响	语义补充
激光雷达	三维点云	几何精确、测距准	稀疏、无纹理、怕雨雪	几何基准
毫米波雷达	距离、径向速度	全天候、测速准	角分辨率低、多径虚假	速度冗余
GPS/IMU	全局位姿、加速度	绝对基准、高频	遮挡失效、漂移	时空基准

复盘工程实践，融合系统的鲁棒性取决于最弱一环。建议在数据采集阶段就记录各传感器的时间戳、标定参数与健康状态，在融合阶段引入不确定性传播，让预测网络知道“哪些观测可信、哪些需要降权”。只有把传感器数据特点吃透，后续的运动预测才有可靠输入。