1. 课程导入
无人机从“能飞”走向“会看、会判断、会决策”，核心变化发生在感知系统。飞控负责姿态稳定与轨迹跟踪，而感知系统负责回答三个问题：我在哪里、周围有什么、我能不能安全通过。在低空物流、电力巡检、应急救援、农业植保和室内自主飞行等场景中，这三个问题的答案直接决定任务成败。
典型的无人机感知系统由多类传感器协同构成：IMU 与气压计提供高频姿态和高度信息，GNSS 提供全局位置，视觉相机提供丰富纹理与语义，深度相机提供稠密三维几何，激光雷达提供远距离、高精度、抗光照变化的点云，毫米波雷达提供速度与恶劣天气下的鲁棒探测。它们不是简单叠加，而是通过时间同步、外参标定、数据关联与融合估计，形成统一的环境表征。
一、核心原理：从单传感器到多源融合
单一传感器存在物理边界。视觉在弱纹理、强逆光、夜间条件下退化；深度相机在室外强光下红外结构光失效，且测距随距离平方衰减；激光雷达在雨雾、烟尘中回波衰减，且无纹理语义；毫米波雷达角分辨率低，难以独立完成精细建图。融合的本质，是用不同物理机理的观测互补，把“不确定”压缩到可接受范围。
从估计角度看，融合可理解为贝叶斯滤波问题：给定历史观测与运动输入，递推后验状态分布。工程上常拆成三层：
- 时间同步层：统一时钟源，硬件触发或 PTP 同步，保证不同传感器数据对应同一时刻。
- 空间标定层：标定相机内参、雷达外参、相机-雷达外参，把观测统一到机体或世界坐标系。
- 融合估计层：紧耦合或松耦合，输出位姿、速度、地图与障碍物列表。
二、深度相机与雷达融合的意义
深度相机与雷达的互补性非常典型。深度相机输出稠密深度图，能提供物体轮廓、平面、可通行区域和语义分割结果，适合近距精细避障与室内建图；激光雷达输出稀疏但精确的点云，适合远距障碍检测、走廊结构提取与全局定位；毫米波雷达则在全天候条件下提供相对速度与远距目标提示。三者融合后，无人机可在近距精细、中距结构、远距预警三个尺度上同时具备感知能力。
具体价值体现在四方面：
- 提升鲁棒性：光照突变、烟雾、雨雾时，雷达与激光雷达补位；无纹理墙面时，深度相机与激光雷达提供几何约束。
- 扩展感知范围：深度相机近距稠密，激光雷达中远距精确，毫米波雷达远距预警，形成分层探测。
- 增强语义与几何一致性：图像语义可投影到点云，点云几何可校验深度图，减少误检与漏检。
- 支撑自主决策：融合后的占据栅格、ESDF 与目标轨迹，可直接输入规划与控制模块。
三、方法流程：一条可落地的融合链路
下面给出一条典型的机载融合处理链路，便于建立整体框架认知：
传感器层：深度相机 / 激光雷达 / 毫米波雷达 / IMU / GNSS
↓ 硬件触发 + PTP 时间同步
驱动层：ROS 2 节点发布 Image、Depth、PointCloud2、RadarTargets
↓ 外参标定 + 运动补偿
预处理：去畸变、降采样、地面分割、点云去噪、图像语义推理
↓ 坐标统一到 base_link / map
融合层：EKF / 因子图优化 / 点云-图像关联 / 占据栅格更新
↓ 输出
应用层：定位、建图、障碍物列表、可通行区域、规划与控制该链路中，时间同步与外参标定是两条生命线。时间偏差 10 ms，在 5 m/s 飞行速度下就会带来 5 cm 的位置误差；外参旋转误差 1°，在 20 m 处会产生约 35 cm 的投影偏差。很多“融合效果差”的问题，根源并不在算法，而在标定与同步。
四、案例场景：室内巡检中的融合避障
以变电站室内巡检为例，无人机需在狭窄走廊中自主飞行，识别仪表、避让管线与门框。深度相机在近距提供 0.3～5 m 的稠密深度，可识别细线缆与透明面板；激光雷达提供 5～40 m 的精确点云，可提取墙面、门框与立柱；毫米波雷达监测后方与侧方快速接近目标。融合后，系统输出局部 ESDF 地图，规划器据此生成平滑绕障轨迹。
若仅用深度相机，强光窗口处深度缺失会导致“看不见墙”；若仅用激光雷达，玻璃与黑色吸光材料回波弱，易形成空洞。融合后，深度相机补玻璃边缘，激光雷达补远距结构，毫米波雷达补动态目标，任务成功率显著提升。
五、常见误区与复盘
误区二：把融合当成简单加权平均。不同传感器观测维度、噪声模型、失效模式不同，必须建模。
误区三：忽视算力与功耗约束。机载平台需在实时性、精度与功耗之间折中，必要时采用分级融合策略。
复盘时建议建立一张“传感器能力-场景条件”对照表，明确每种传感器在何种条件下可信、何种条件下降级，并据此设计融合权重与故障切换逻辑。
| 传感器 | 主要输出 | 优势 | 典型局限 | 融合角色 |
|---|---|---|---|---|
| 深度相机 | 深度图、RGB、语义 | 稠密、近距精细、有语义 | 受光照影响、远距衰减 | 近距避障、语义分割 |
| 激光雷达 | 三维点云 | 精度高、抗光照、远距 | 雨雾衰减、无纹理语义 | 建图、定位、结构提取 |
| 毫米波雷达 | 距离、速度、角度 | 全天候、测速准 | 角分辨率低、点云稀疏 | 远距预警、动态目标 |
| IMU/GNSS | 姿态、加速度、位置 | 高频、全局参考 | 漂移、遮挡失锁 | 运动先验、全局约束 |
六、课程学习目标与整体框架
本课程围绕“能标定、能同步、能融合、能落地”四条主线展开。学习完成后，你应能够：
- 理解深度相机、激光雷达、毫米波雷达的成像/测距原理与误差来源；
- 独立完成相机内参、相机-雷达外参与时间同步标定；
- 实现点云-图像关联、EKF/因子图融合与占据栅格建图；
- 在 ROS 2 与机载算力平台上完成实时融合系统的部署与调优；
- 针对典型场景设计融合策略，并完成故障排查与性能评估。
整体框架分为五篇：感知基础篇（传感器原理与坐标系）、标定同步篇（内参、外参、时间同步）、融合算法篇（滤波、优化、关联、建图）、工程实践篇（ROS 2、算力、实时性、部署）、场景实战篇（室内巡检、低空物流、应急救援）。每篇均以可运行代码与真实数据贯穿，避免停留在概念层面。
理解这张架构图，是后续所有章节的起点。传感器层决定数据上限，同步与标定层决定数据可用性，融合估计层决定环境表征质量，应用层决定任务能力。任何一层缺失或薄弱，都会在最终飞行表现中暴露出来。接下来，我们将从传感器原理与坐标系开始，逐层深入。