3. 多模态数据基础

自动驾驶智能体的感知推理，本质上是在多源异构数据上做联合推断。摄像头、激光雷达、毫米波雷达、IMU、GPS、CAN总线这六类数据，分别从“外观、几何、速度、运动、位置、车辆状态”六个维度描述同一场景。理解它们各自的数据特点，并完成时空对齐，是把原始信号变成可推理感知输入的第一步。

一、六类传感器的数据特点

摄像头输出稠密二维图像，具备丰富的颜色、纹理和语义信息，适合识别车道线、交通标志、行人意图。但它缺少直接深度，受光照、逆光、雨雾影响大，且透视投影会带来尺度歧义。

激光雷达输出三维点云，每个点带有精确的(x, y, z)坐标和反射强度，几何精度高、不受光照影响，是测距和三维目标框的可靠来源。缺点是点云稀疏、无序，远距离点密度骤降，且对雨雪、扬尘敏感。

毫米波雷达通过多普勒效应直接测量径向速度，穿透雨雾能力强，探测距离远，在恶劣天气下仍能稳定输出目标距离与速度。但其角分辨率低，点云稀疏，容易产生多径虚假目标，且缺少高度信息。

IMU以高频输出三轴加速度与三轴角速度，反映车辆自身的瞬时运动变化，是短时姿态估计和运动补偿的核心。缺点是积分会累积漂移，长时间单独使用不可靠。

GPS提供全局绝对位置与时间基准，输出经纬度、海拔和速度，是全局定位的锚点。但更新频率低（通常1～10Hz），城市峡谷和隧道中易失锁，定位跳变明显。

CAN总线广播车辆内部状态，包括车速、方向盘转角、轮速、制动踏板、挡位等。它反映的是车辆自身的执行状态，频率稳定，但语义是车辆级的，不直接描述外部环境。

二、时空对齐的核心原理

时空对齐包含两个正交维度：时间对齐解决“同一时刻”的问题，空间对齐解决“同一坐标系”的问题。

时间对齐的关键是统一时间基准。工程上通常以GPS的PPS秒脉冲或系统单调时钟作为主时钟，为每帧数据打上硬件时间戳，而不是软件接收时间。对于频率不同的传感器，常用做法是：以低频传感器为基准，对高频数据做插值或最近邻匹配。例如以激光雷达帧时刻为基准，用IMU积分得到该时刻的车辆位姿，用CAN插值得到该时刻车速。

空间对齐的关键是标定与坐标变换。摄像头通过内参矩阵和外参矩阵投影到车辆坐标系；激光雷达通过外参变换到车辆坐标系；毫米波雷达、IMU、GPS、CAN也各自有安装外参。所有数据最终统一到车辆坐标系或世界坐标系，才能在同一空间下融合。

# 时间对齐伪代码：以激光雷达帧时刻 t_lidar 为基准
t_lidar = lidar_frame.header.stamp
imu_pose = integrate_imu(imu_buffer, t_lidar)      # IMU积分到t_lidar
can_speed = interpolate(can_buffer, t_lidar)        # CAN线性插值
gps_pose = nearest_neighbor(gps_buffer, t_lidar)    # GPS最近邻
# 空间对齐：统一到车辆坐标系
points_velo = T_velo_to_ego @ lidar_points
image_ego = K @ T_ego_to_cam @ points_velo

三、典型场景：城市路口的多模态对齐

假设车辆在城市路口以30km/h行驶，前方有行人横穿。摄像头在t时刻识别到行人，激光雷达在t+50ms输出行人点云，毫米波雷达在t+20ms输出行人径向速度，IMU和CAN持续输出车辆运动状态。

若不做时间对齐，直接用摄像头识别框去匹配激光雷达点云，50ms内车辆已移动约0.42米，行人也在移动，匹配误差会直接导致目标关联失败。正确做法是：以激光雷达帧时刻为基准，用IMU积分补偿车辆运动，用CAN车速修正位移，再把摄像头识别框投影到该时刻的激光雷达坐标系，完成目标级关联。

这个场景说明：时空对齐不是可选的预处理，而是决定融合成败的前置条件。对齐误差每增加10ms，在30km/h下就会引入约8厘米的空间偏差，对近距离目标关联影响显著。

四、常见误区与复盘

• 误区一：用软件接收时间代替硬件时间戳。软件时间受操作系统调度、网络传输、驱动缓冲影响，抖动可达数十毫秒，必须使用传感器硬件时间戳。
• 误区二：忽略坐标系外参的时变性。车辆振动、温度变化会导致外参漂移，长期运行需在线标定或定期复核。
• 误区三：只做空间对齐不做时间对齐。空间对齐解决“在哪”，时间对齐解决“何时”，两者缺一不可。
• 误区四：GPS失锁时直接丢弃全局定位。应切换为IMU+轮速的航位推算，并标记定位置信度下降，供下游推理模块降权使用。

五、六类数据特点与对齐要点清单

掌握这六类数据的特点与对齐方法，是后续多模态融合、目标跟踪、行为预测的基础。只有把“不同频率、不同坐标系、不同时间戳”的数据统一到同一时空基准，智能体才能对同一场景形成一致、可靠的感知理解。