2. 多模态感知基础
无人机要在复杂环境中完成定位、建图、避障与目标识别，单靠一种传感器几乎不可能稳定工作。相机提供稠密纹理与语义，LiDAR 提供精确几何与深度，IMU 提供高频运动约束，GNSS 提供全局绝对位置。理解这四类传感器的物理原理、数据特性与互补关系，是后续时空标定与多模态融合的前提。
一、四类传感器的核心原理
相机通过镜头将三维场景投影到二维成像平面，CMOS/CCD 像元把光子转换为灰度或彩色值。它本质上是“角度传感器”，每个像素对应一条从光心出发的射线，但单目图像丢失了尺度信息。双目或 RGB-D 相机可通过视差或结构光恢复深度，但作用距离和精度受基线、纹理与光照限制。
LiDAR 主动发射激光脉冲，测量回波飞行时间（ToF）或相位差，得到目标点的距离；结合扫描角度即可解算三维坐标。机械旋转式、固态 MEMS 与 OPA 等形态不同，但输出都是点云。LiDAR 直接给出几何深度，不受纹理和光照影响，但点云稀疏、无颜色语义，且对雨雾、玻璃、高反表面敏感。
IMU 由三轴陀螺仪与三轴加速度计组成，测量角速度与比力。它输出频率高（通常 100–1000 Hz），短时动态响应好，但积分会产生漂移，零偏和噪声随时间累积，无法单独提供长期绝对位姿。
GNSS 通过接收多颗卫星的伪距与载波相位，解算接收机在地心坐标系中的位置与速度。单点定位米级，RTK/PPK 可达厘米级，但更新率低（1–20 Hz），城市峡谷、林下和室内易失锁或多路径。
二、数据特性对比与选型清单
四类传感器在频率、维度、误差特性和环境适应性上差异显著。下表从工程视角归纳关键参数，便于在标定与融合方案中快速取舍。
| 传感器 | 输出数据 | 典型频率 | 误差特性 | 环境敏感因素 | 核心互补价值 |
|---|---|---|---|---|---|
| 相机 | RGB 图像、视差图 | 20–60 Hz | 无绝对尺度、标定误差 | 光照、纹理、运动模糊 | 语义、纹理、稠密像素 |
| LiDAR | 三维点云 (x,y,z,i) | 10–20 Hz | 测距噪声、角度偏差 | 雨雾、玻璃、高反 | 精确几何、直接深度 |
| IMU | ω、a 三轴序列 | 100–1000 Hz | 零偏、随机游走、积分漂移 | 温度、振动 | 高频运动、短时平滑 |
| GNSS | 经纬高、速度、时间 | 1–20 Hz | 多路径、电离层、失锁 | 遮挡、城市峡谷 | 全局绝对、无累积漂移 |
三、典型场景中的互补工作方式
以无人机城市巡检为例：GNSS 提供全局航迹与时间基准，但在楼宇遮挡处会跳变；IMU 以 200 Hz 输出角速度和加速度，在 GNSS 失锁的几秒内维持姿态与位置递推；相机识别电塔、绝缘子等目标并给出语义框；LiDAR 测量导线与建筑的距离，提供避障所需的精确几何。四者通过时空标定统一到同一坐标系与时间轴后，融合算法才能把“绝对但低频”与“相对但高频”的信息正确叠加。
再看一个实操片段：在 ROS 中查看各传感器话题频率与时间戳，是判断标定前数据质量的第一步。
rostopic hz /camera/image_raw
rostopic hz /lidar/points
rostopic hz /imu/data
rostopic hz /gnss/fix
# 检查时间戳是否同步
rostopic echo /camera/image_raw/header/stamp
rostopic echo /lidar/points/header/stamp
若发现相机与 LiDAR 时间戳偏差超过 10 ms，或 IMU 频率远低于 100 Hz，应先排查驱动、触发与时钟源，而不是直接进入外参标定。
四、常见误区与复盘
- 误区一：把 GNSS 当作绝对真值。GNSS 本身存在多路径和天线相位中心偏差，RTK 固定解也可能因基线过长而退化。标定中应把 GNSS 视为带噪声的全局观测，而非无误差基准。
- 误区二：忽略 IMU 与相机的时间偏移。IMU 高频、相机低频，若时间戳未对齐，运动中的图像会对应错误的姿态，导致外参标定出现系统性偏差。
- 误区三：认为 LiDAR 点云无需标定。LiDAR 与相机之间的外参、LiDAR 内部各激光束的角度修正，都会直接影响融合精度。
- 误区四：只看频率不看延迟。高频不等于低延迟，某些 GNSS 模块输出频率高但内部滤波延迟大，融合时需建模延迟而非简单插值。
理解这四类传感器的原理与数据特性后，下一步才能讨论它们之间的时间同步、空间外参标定以及融合滤波的具体方法。本节建立的“频率—维度—误差—互补”视角，将贯穿后续所有标定与融合章节。