2. 多传感器基础

在《多传感器语义地图更新工程》中，传感器不是简单的“数据采集器”，而是语义地图更新链路的感知源头。相机、激光雷达、毫米波雷达、IMU 与 GNSS 各自观测不同的物理量，具有不同的误差模式、时间特性和空间覆盖能力。理解它们的原理与互补关系，是后续标定、融合、建图与地图更新策略设计的基础。

一、核心原理：五类传感器分别“看见”什么

相机通过镜头将三维场景投影到二维成像平面，输出像素灰度或颜色。它擅长获取纹理、颜色、车道线、交通标志、行人等语义信息，但单目图像丢失深度，且受光照、逆光、雨雾影响显著。双目或结构光可恢复深度，但作用距离和精度仍受基线限制。

激光雷达主动发射激光脉冲并测量回波时间，得到高精度三维点云。其核心优势是直接提供厘米级几何距离和角度，不受环境光照影响，适合构建障碍物轮廓、道路边界和三维结构。缺点是雨雪雾衰减、成本较高、点云稀疏且随距离变稀，对玻璃、黑色低反射物体可能失效。

毫米波雷达发射毫米波并利用多普勒效应测量目标相对径向速度，同时通过调频连续波获得距离和角度。它对雨雾、烟尘、黑夜具有强穿透性，测速精度高，适合前向碰撞预警、盲区监测和动态目标跟踪。但其角分辨率较低，点云稀疏，静止目标易被滤除，金属反射和护栏多径会产生虚假目标。

IMU由陀螺仪和加速度计组成，测量角速度和比力，通过积分得到姿态、速度和位置。它输出频率高、短时平滑，但积分会累积漂移，零偏和噪声随时间发散。IMU 是融合系统中的“时间骨架”，为其他传感器提供高频运动补偿。

GNSS通过接收多颗卫星信号解算全球位置和速度，提供绝对定位基准。开阔环境下可达米级甚至厘米级（RTK），但城市峡谷、隧道、地下车库中信号遮挡和多路径效应会导致定位跳变或丢失。GNSS 解决“全局在哪”，但不解决“周围是什么”。

二、数据特性对比：频率、精度、鲁棒性与失效场景

不同传感器的数据特性决定了它们在融合系统中的角色。下表从输出频率、空间精度、语义能力、环境鲁棒性和典型失效场景五个维度进行对比。

三、互补关系与融合方法流程

互补关系的核心可以概括为四组约束：相机与激光雷达互补语义与几何，相机提供“是什么”，激光雷达提供“在哪里、多远”；激光雷达与毫米波雷达互补静态几何与动态速度，激光雷达刻画轮廓，毫米波雷达捕捉运动目标；IMU 与 GNSS互补高频姿态与低频绝对位置，IMU 在 GNSS 失锁时维持短时航位推算；相机与毫米波雷达互补视觉语义与全天候测速，在夜间和雨雾中提升目标确认能力。

典型融合流程如下：

1. 时间同步：以 IMU 高频时钟为基准，对相机、激光雷达、毫米波雷达、GNSS 做硬件触发或软件时间戳对齐，消除毫秒级时间偏差。
2. 空间标定：通过相机内参、相机-激光雷达外参、雷达-车体外参，将所有观测统一到车辆坐标系或世界坐标系。
3. 运动补偿：利用 IMU 积分得到短时位姿，对激光雷达点云和相机图像进行去畸变或运动补偿。
4. 特征提取与关联：相机提取语义掩码，激光雷达提取几何聚类，毫米波雷达提取动态目标，GNSS/IMU 提供先验位姿，完成跨传感器目标关联。
5. 状态估计与地图更新：采用卡尔曼滤波、因子图优化或滑动窗口优化，输出融合位姿、动态目标轨迹和语义地图更新量。

# 典型多传感器时间同步配置示例（概念参数）
sensor_time_sync:
  imu:        {rate: 200 Hz, role: "时间基准"}
  camera:     {rate: 30 Hz,  trigger: "hardware", offset_ms: 0.0}
  lidar:      {rate: 10 Hz,  trigger: "PPS",      offset_ms: 1.2}
  radar:      {rate: 50 Hz,  trigger: "CAN",      offset_ms: 0.8}
  gnss:       {rate: 10 Hz,  trigger: "PPS",      offset_ms: 0.0}
  max_allow_offset_ms: 2.0

四、案例与场景：城市路口语义地图更新

以城市路口语义地图更新为例：相机识别红绿灯、车道线、斑马线和行人；激光雷达提供路口三维结构、路沿高度和障碍物轮廓；毫米波雷达跟踪快速通过的车辆，输出径向速度；IMU 补偿车辆转弯时的姿态变化；GNSS/RTK 提供路口绝对坐标。若仅用相机，夜间和逆光下语义会丢失；若仅用激光雷达，无法识别红绿灯颜色；若仅用 GNSS，无法知道路口内有哪些动态目标。五类传感器融合后，系统才能在复杂路口稳定输出“车道线位置 + 红绿灯状态 + 动态目标轨迹 + 全局坐标”的语义地图更新结果。

五、常见误区与复盘