4、多源传感器融合概述

多源传感器融合是因子图优化方法得以发挥核心优势的基础场景。在自动驾驶、移动机器人和智能测绘领域，单一传感器往往难以同时满足精度、鲁棒性和成本约束。GPS在开阔环境下提供位置，但进入隧道或城市峡谷后信号衰减严重；IMU以高频输出短时高精度的相对运动，却存在持续漂移；相机和激光雷达分别提供丰富的语义与几何信息，但各自受光照、天气和动态物体干扰。理解这些传感器的特性、融合层次以及面临的挑战，是设计因子图模型、选择误差函数和配置信息矩阵的前提。本章将系统梳理传感器类型、融合层次与核心挑战，为后续章节的因子图建模奠定基础。

4.1 传感器类型与特性分析

在因子图多源融合框架中，每种传感器都可以抽象为一个或多个因子节点，其测量模型决定了误差函数的数学形式。理解各传感器的物理原理、输出频率、噪声特性和失效模式，是正确设计因子图结构的第一步。

4.1.1 核心传感器特性对比

GPS提供全局无漂移的位置参考，但其更新率低且在城市环境中易受多径效应影响。IMU以高频输出相对运动信息，短时精度高但长期积分会产生严重漂移。相机通过特征点匹配提供丰富的视觉约束，对纹理敏感。激光雷达直接测量三维几何距离，不受光照影响但成本较高。轮速计在低速场景下可靠，但打滑时会产生不可预测的误差。

4.1.2 传感器建模要点

每种传感器的测量模型需要明确三个要素：测量方程、噪声分布和参数标定。以IMU为例，其测量模型可表示为：

a_m = R^T(a - g) + b_a + n_a
ω_m = ω + b_g + n_g

其中b_a和b_g为加速度计和陀螺仪的偏置，n_a和n_g为高斯白噪声。在因子图框架中，IMU预积分因子将两个关键帧之间的相对运动约束建模为高斯分布，其协方差矩阵通过误差传播递推计算。

4.2 融合层次：从数据级到决策级

融合层次决定了信息抽象程度和计算复杂度。因子图方法主要工作在特征级融合层面，但理解数据级和决策级融合的边界有助于选择正确的建模策略。

4.2.1 三种融合层次对比

数据级融合要求所有传感器输出严格同步且坐标系一致，这在工程实践中极难满足。决策级融合虽然计算高效，但无法提供连续位姿估计所需的精度。特征级融合通过提取有物理意义的特征（如视觉关键点、激光点云特征、IMU预积分量），在保持信息量的同时大幅降低计算复杂度，这正是因子图优化的理想输入。

4.2.2 因子图中的融合层次选择

在实际系统中，通常采用混合融合策略。例如，视觉-惯性导航系统（VINS）在特征级融合视觉重投影误差和IMU预积分误差，同时利用GPS提供全局位置约束。这种分层融合策略可以表示为：

总误差 = Σ||r_visual||²_Σv + Σ||r_imu||²_Σi + Σ||r_gps||²_Σg

其中每个误差项对应因子图中的一个因子节点，信息矩阵Σ的逆决定了该传感器在优化中的权重。

4.3 融合挑战：噪声、异质与异步

多源融合的核心挑战可以归纳为三个维度：噪声特性差异、数据异质性、时间异步性。因子图方法通过概率建模和优化求解，为应对这些挑战提供了系统化的解决方案。

4.3.1 噪声与不确定性建模

不同传感器的噪声特性差异显著：GPS噪声近似高斯分布但存在多径异常值；IMU噪声包含白噪声和随机游走两部分；视觉特征匹配存在大量外点（outliers）。在因子图框架中，需要针对不同噪声特性设计对应的误差模型：

• 高斯噪声：使用马氏距离形式的二次误差项，信息矩阵取协方差逆矩阵。
• 重尾噪声：采用Huber或Cauchy鲁棒核函数，降低外点对优化的影响。
• 时变噪声：根据实时信号质量（如GPS的PDOP值、视觉特征数量）动态调整信息矩阵。

4.3.2 异质数据的统一表达

异质传感器输出不同物理量纲的数据，直接比较没有意义。因子图通过将每种测量转换为统一的残差形式来解决这一问题。例如，视觉重投影误差以像素为单位，IMU预积分误差以速度和旋转为单位，GPS误差以米为单位。通过信息矩阵的归一化，这些不同量纲的误差可以在同一优化目标函数中加权组合。

4.3.3 异步数据的处理策略

传感器频率不同导致测量时刻不对齐，这是工程实现中最棘手的问题之一。常用策略包括：

1. 最近邻插值：将低频测量值插值到高频时间戳上，简单但引入插值误差。
2. 因子图时间戳建模：每个因子节点关联其实际测量时间，优化时通过运动模型插值到统一时间基准。
3. 边缘化与滑窗：对旧状态进行边缘化，保持优化窗口内的时间一致性。

4.3.4 案例拆解：城市峡谷中的多源融合

背景与约束：某城市道路测试场景，两侧高楼密集，GPS信号频繁中断且多径严重。车辆搭载低精度IMU（偏置稳定性0.1°/s）、前视相机和16线激光雷达。目标是在GPS失效期间保持车道级定位精度（横向误差<0.3m）。

初始现象：单独使用GPS时，定位误差在开阔区域约1.5m，进入峡谷后误差增大至5-10m且出现跳变。单独使用视觉里程计，累计漂移率约2%，行驶500m后横向误差超过1m。

分析判断：GPS多径误差表现为非高斯分布，直接使用标准因子图会被异常值拉偏。视觉特征在弱纹理区域（如白色墙面）数量不足，导致视觉因子约束减弱。激光雷达在近距离可提供高精度几何约束，但远距离点云稀疏。

实际操作步骤：

1. 在因子图中为GPS因子添加Huber鲁棒核函数，设置阈值δ=2.0m，抑制多径异常值。
2. 将激光雷达点云与全局地图进行NDT配准，生成激光因子，每帧提供6自由度位姿约束。
3. 对视觉特征数量进行监控，当特征点少于50个时，降低视觉因子的信息矩阵权重。
4. 采用滑窗优化，窗口大小设为20个关键帧，对窗口外的状态进行边缘化。

结果对比：融合后，在GPS失效的800m路段内，横向误差保持在0.25m以内，纵向误差0.4m。相比纯视觉方案，精度提升约4倍；相比纯激光方案，在动态物体干扰下鲁棒性更强。

风险与代价：激光雷达在雨雾天气性能下降，需要额外配置天气检测模块。滑窗边缘化引入的线性化误差在急转弯时可能增大，需要定期进行全局优化修正。

复盘经验：多源融合的关键不在于传感器数量，而在于各传感器误差模型的准确性。鲁棒核函数的阈值需要根据实际场景标定，过小会丢弃有效测量，过大会失去抗差能力。

4.3.5 常见误区与总结

• 误区一：认为传感器越多精度越高。实际上，未标定的传感器或错误的时间同步会引入额外误差，甚至降低系统性能。
• 误区二：忽略传感器退化检测。在因子图优化中，应实时评估每个因子的残差分布，当残差持续超过3σ时，应主动降低该因子权重。
• 误区三：将IMU预积分视为“免费”的高频信息。IMU偏置估计不准确时，预积分误差会快速累积，需要定期与视觉或激光因子进行联合优化。