3. 融合感知核心概念

无人机融合感知的目标，是把相机、激光雷达、毫米波雷达、IMU、GNSS 等异构传感器的观测统一到同一时空基准下，形成比单一传感器更稳健、更完整的环境与自身状态描述。要做到这一点，必须理解五个环环相扣的核心概念：融合层次决定“在哪里合并”，时空对齐决定“何时何地可比”，标定与外参决定“坐标如何转换”，数据关联决定“谁对应谁”，状态估计与不确定性传播决定“如何融合并给出可信度”。

一、多传感器融合的三个层次

按信息抽象程度，融合可分为数据级、特征级和决策级。数据级融合保留原始测量，信息损失最小，但对时空对齐和标定精度要求最高，典型如多相机图像拼接、雷达与激光点云配准。特征级融合先提取边缘、角点、车道线、目标框等中间特征再合并，兼顾信息量与鲁棒性，是视觉-激光融合的主流做法。决策级融合在各传感器独立完成检测或分类后，对结果进行投票、加权或贝叶斯组合，容错性强但信息利用率最低。

二、时空对齐：融合的前提

时间对齐解决“不同传感器数据是否描述同一时刻”。相机曝光、激光扫描、IMU 采样各有自己的时间戳，且存在触发延迟与传输抖动。常用做法是硬件同步（PPS 秒脉冲、触发线）加软件插值（线性或样条插值到统一时间基准）。空间对齐则把各传感器坐标系统一到机体或世界坐标系，依赖外参。若时间偏差达到几十毫秒，高速运动下目标位置误差可达米级，直接导致关联失败。

三、标定与外参

内参描述传感器自身成像或测量模型，如相机焦距、主点、畸变系数，激光雷达的线束角与距离偏差。外参描述传感器之间的相对位姿（旋转 R 与平移 t），以及相对机体的安装关系。标定方法包括棋盘格/标定板法、手眼标定、基于运动约束的联合标定。外参一旦标定完成，通常作为常量写入配置，但振动、温漂和碰撞会引起缓慢变化，需要在线监测与重标定。

# 外参配置示例（相机→激光雷达）
extrinsic:
  rotation:    [0.9998, -0.0175, 0.0087,
               0.0175,  0.9997, 0.0140,
               -0.0089, -0.0138, 0.9999]
  translation: [0.12, -0.05, 0.08]   # 单位: m
  time_offset: 0.012                 # 单位: s

四、数据关联

数据关联回答“当前观测对应哪个已有目标或哪段轨迹”。常用方法有最近邻（NN）、全局最近邻（GNN）、联合概率数据关联（JPDA）以及基于匈牙利算法的分配。关联代价通常由马氏距离、外观相似度和运动预测残差共同构成。关联错误会直接造成目标 ID 跳变、轨迹断裂或虚假目标，是融合感知中最常见的故障来源。

五、状态估计与不确定性传播

状态估计把多源观测融合为对系统状态（位置、速度、姿态、目标位置）的最优估计。卡尔曼滤波及其扩展（EKF、UKF）是核心工具：预测步用运动模型传播状态与协方差，更新步用观测模型修正状态并收缩不确定性。不确定性以协方差矩阵表达，并通过雅可比矩阵在非线性变换中传播。融合的价值不仅在于提高精度，更在于让系统“知道自己有多确定”，从而支持后续的决策与安全降级。

六、案例与场景：视觉-激光融合中的一次关联失败

某次实飞中，无人机在快速转弯时出现目标框在图像与点云间“错位”。复盘发现：相机与激光雷达的时间偏移配置为 0.012 s，但实际触发延迟随温度升高增至 0.035 s；同时外参平移在振动后偏移约 2 cm。时间偏差使目标在图像中前移，外参偏差使投影点整体偏移，两者叠加导致马氏距离超过关联门限，目标被拆成两个 ID。修正措施是启用硬件 PPS 同步、加入在线时间偏移估计，并在每次起飞前用标定板快速校验外参。

七、复盘要点清单

• 时间对齐：是否统一到同一时间基准？插值是否引入额外误差？
• 外参：标定频率是否足够？是否有在线监测与漂移告警？
• 关联：门限是否随目标距离与不确定性自适应？是否处理漏检与虚警？
• 状态估计：协方差是否与实际残差一致？是否存在过度自信？
• 不确定性传播：非线性变换是否使用雅可比或 sigma 点正确传播？