3. 传感器与数据表示
在 Occupancy 时序融合与场景补全工程中，第一步永远不是“上模型”，而是把三类主流传感器——相机、激光雷达、毫米波雷达——的数据特性、坐标系与时间基准彻底理清。只有数据表示统一，后续的 BEV 特征对齐、时序累积与场景补全才有物理意义。本节从数据特性出发，逐步推导到多模态对齐的工程方法。
一、三类传感器的数据特性对比
相机输出的是二维稠密强度图像，具备丰富的纹理、颜色与语义信息，但缺失深度，且受光照、曝光、运动模糊影响明显。激光雷达输出的是三维稀疏点云，每个点带有精确的 (x, y, z) 坐标与反射强度，深度精度可达厘米级，但点云随距离稀疏、对雨雾敏感。毫米波雷达输出的是稀疏的检测点或点云，每个目标带有距离、方位角、径向速度（多普勒）与 RCS，具备全天候与直接测速能力，但角分辨率低、点云噪声大、易产生多径鬼影。
三者的互补性正是多模态融合的价值来源：相机提供“是什么”，激光雷达提供“在哪里”，毫米波雷达提供“动多快”。下表给出工程中常用的关键参数对比。
| 维度 | 相机 | 激光雷达 | 毫米波雷达 |
|---|---|---|---|
| 数据形式 | 2D 稠密图像 | 3D 稀疏点云 | 稀疏点/目标列表 |
| 深度信息 | 缺失（需估计） | 精确，cm 级 | 距离较准，角度较粗 |
| 速度信息 | 无直接测速 | 需多帧估计 | 多普勒直接测速 |
| 典型频率 | 10–30 Hz | 10–20 Hz | 10–20 Hz |
| 环境鲁棒性 | 受光照/天气影响大 | 受雨雾影响 | 全天候，穿透性强 |
| 主要噪声 | 曝光、模糊 | 离群点、反射率异常 | 多径、鬼影、角噪声 |
二、坐标系体系与转换链路
多模态对齐的本质是坐标变换。工程中通常涉及五类坐标系：像素坐标系 (u, v)、图像坐标系 (x, y)、相机坐标系 (Xc, Yc, Zc)、激光雷达坐标系 (Xl, Yl, Zl)、毫米波雷达坐标系 (Xr, Yr, Zr)，以及最终统一表达的自车坐标系（ego/body）与世界坐标系。
相机到图像的投影由内参矩阵 K 描述，相机到激光雷达由外参 [R|t] 描述。完整链路可写为：
# 相机内参投影
[u, v, 1]^T = K · [Xc, Yc, Zc]^T / Zc
# 相机-激光雷达外参
P_cam = R_cl · P_lidar + t_cl
# 激光雷达-自车外参
P_ego = R_le · P_lidar + t_le
# 毫米波雷达-自车外参
P_ego = R_re · P_radar + t_re
实际工程中，外参由离线标定得到，但车辆振动、温度变化、碰撞会导致外参漂移，因此需要在线标定或外参自监督优化。内参则相对稳定，但变焦或镜头更换后必须重新标定。
三、多模态数据对齐方法
对齐包含三个层面：空间对齐、时间对齐、语义对齐。空间对齐解决“同一物体在不同坐标系下的位置一致”；时间对齐解决“同一时刻的运动状态一致”；语义对齐解决“同一目标在不同模态下的标签一致”。
空间对齐常用方法有：基于外参的硬对齐、基于特征匹配的软对齐、基于可学习注意力的隐式对齐。时间对齐则依赖硬件同步（PPS/GPS 触发）与软件插值（线性插值、样条插值、运动补偿）。语义对齐通常通过投影后的一致性损失或对比学习实现。
下图给出一个典型的多模态对齐数据流：三类传感器原始数据经过时间同步、坐标变换、投影与特征提取，最终在 BEV 空间完成融合。
四、典型场景与工程案例
以城市路口场景为例：相机识别红绿灯与车道线，激光雷达提供精确的路沿与障碍物几何，毫米波雷达提供远处车辆的速度。若三者时间戳未对齐，一辆 60 km/h 的车辆在 50 ms 内移动约 0.83 m，足以造成 BEV 栅格中的目标错位与拖影。因此，时间同步精度应优于 10 ms。
在工程实现中，常用 ROS2 的 message_filters 做近似时间同步，或用自研的环形缓冲区按时间戳对齐。以下是一个典型的同步配置片段：
# ROS2 近似时间同步配置
sync_policy:
queue_size: 10
max_interval: 0.02 # 20ms 容差
age_penalty: 0.1
topics:
- /camera/image_raw
- /lidar/points
- /radar/points
五、复盘与检查清单
- 内参、外参是否在最近一次标定后验证过重投影误差？
- 三类传感器时间戳是否统一到同一时钟源？同步误差是否小于 10 ms？
- 是否对毫米波雷达的多径鬼影做了滤波或置信度加权？
- BEV 栅格分辨率与传感器有效距离是否匹配？
- 外参漂移是否有在线监测与补偿机制？
只有把数据特性、坐标转换与多模态对齐这三件事做扎实，Occupancy 时序融合才能稳定收敛，场景补全的结果才具备几何一致性与时序一致性。