第4章 多传感器融合（IMU/视觉/激光）：融合策略、标定流程、面试追问
本章核心：掌握多传感器融合的三大面试维度——策略选型、标定精度、时序对齐。面试官倾向于通过一个真实项目追问融合方案的鲁棒性与工程落地细节。
面试问答卡片
面试问题：请谈谈多传感器融合的常见策略及其优缺点。
面试官考察点：对松耦合/紧耦合、滤波/优化的理解深度；能否结合实际场景做权衡。
回答框架：分类对比 → 典型方案 → 选择依据 → 项目举例。
简短示例回答：“松耦合（如EKF）计算快但精度受限；紧耦合（如因子图）精度高但算力要求大。我曾在仓储AGV上采用紧耦合方案，IMU预积分+视觉重投影，定位误差＜5cm，但CPU占用率超30%，后期通过边缘化策略优化至18%。” （字数：98字）
可能追问：① 如何评价卡尔曼滤波和图优化的差异？② 为什么选择紧耦合而不是松耦合？
避坑提醒：不要直接说“紧耦合更好”，必须结合算力、场景实时性、传感器精度说明选择依据。
面试问题：多传感器标定流程中最重要的步骤是什么？如何验证标定精度？
面试官考察点：标定流程完整性（内参+外参+时间标定）；残差分析能力。
回答框架：标定三阶段 → 关键操作 → 精度验证方法 → 工程经验。
简短示例回答：“最重要的是外参标定与时间偏移联合求解。我会用bundle adjustment同时优化空间变换和时延。验证方法：静态重投影误差＜1px，动态残差序列方差＜0.3m/s²。在工厂实际测试中，标定后定位轨迹与激光SLAM轨迹的APE＜0.1m。” （字数：99字）
可能追问：① 如何标定IMU与相机之间的时间戳延迟？② 有没有遇到标定发散的情况？
避坑提醒：避免只讲理论公式；强调实际标定时的激励动作（如“8字旋转”）、数据采集时长、剔除异常帧等工程细节。
面试问题：在实际项目中，如何处理IMU/视觉/激光之间时间戳不同步的问题？
面试官考察点：时序对齐工程方案；是否理解硬件触发与软件插值差异。
回答框架：问题描述 → 硬件方案 → 软件补偿 → 效果评估。
简短示例回答：“采用硬件同步：激光雷达提供PPS信号触发相机曝光，IMU通过总线获取全局时间戳。软件侧对剩余偏移（≤2ms）做线性插值对齐。实测速率20Hz时，时间差从15ms降至0.8ms，融合定位RMSE下降40%。” （字数：86字）
可能追问：① 为什么不用纯软件同步？② 如何应对系统重启后时间漂移？
避坑提醒：千万不要说“完全靠软件时间戳”或“忽略时间不同步”，必须展示对延迟与漂移的系统级考虑。
项目案例：多传感器融合定位系统（仓库AGV）
| 项目名称 | 基于 IMU + 相机 + 激光雷达的 AGV 高精度定位系统 |
| 业务背景 | 某电商仓库要求 AGV 在遮挡、重复纹理环境下稳定导航，定位误差 < 10cm，支持动态负载变化。 |
| 规模指标 | AGV 数量 50 台，运行时长 8h/天，累计里程 200km，定位成功率达 99.3%，平均收敛时间 1.2s。 |
| 技术栈 | C++ / ROS2 / Eigen / GTSAM (因子图) / OpenCV / PCL / Kalibr |
| 核心难点 | 多传感器时间戳抖动达 8ms；视觉在白色货架区域特征稀疏；激光对反光柱支撑不够。 |
| 面试高频追问 | ① 因子图边权重如何设计？② 视觉失效时如何用 IMU+激光保持定位？③ 如何标定相机与激光的外参？ |
| 可迁移回答话术 | “项目中采用硬件PPS同步+软件插值，时间偏差降低到0.5ms；视觉特征少时引入激光点到地图的匹配残差；标定使用kalibr+手眼标定两步法，重投影误差0.6px。” |