1. 课程导入
在自动驾驶、移动机器人、无人机与高精地图采集等场景中，单一传感器已经很难同时满足“看得远、看得准、看得稳”的要求。摄像头擅长获取稠密纹理与语义信息，能识别车道线、交通标志、行人轮廓；激光雷达提供高精度三维几何与距离信息，对光照变化不敏感；IMU 则以高频输出角速度与加速度，在短时间尺度上给出运动约束。三者组合，构成了当前主流感知与定位系统的基础配置。
但多传感器融合并不是把数据简单叠加。每个传感器都有自己的坐标系、时间基准、安装位置和误差模型。如果外参标定不准确，摄像头看到的车道线可能被投影到激光雷达点云的错误位置，IMU 的积分轨迹也会与视觉/激光里程计逐渐分离。因此，联合标定是融合系统能否真正工作的前提条件，它决定了后续感知、定位、建图与规控模块的精度上限。
一、多传感器融合背景：为什么需要 Camera-LiDAR-IMU
从感知层面看，Camera-LiDAR-IMU 的互补关系非常明确。摄像头在纹理丰富、光照稳定的条件下，能够提供高分辨率语义信息；激光雷达在夜间、逆光、弱纹理场景下仍能稳定测距；IMU 在高速运动、颠簸、遮挡或短暂失效时，提供连续的运动先验。三者融合后，系统可以在不同场景下保持鲁棒性。
从定位与建图层面看，视觉惯性里程计（VIO）和激光惯性里程计（LIO）已经成为主流方案。VIO 依赖相机与 IMU 之间的外参和时间同步，LIO 依赖激光雷达与 IMU 之间的外参和时间同步。当 Camera、LiDAR、IMU 三者需要共同参与融合时，就必须建立统一的坐标框架和时间框架，这正是联合标定要解决的问题。
从工程落地角度看，多传感器系统还面临安装误差、振动形变、温度漂移、时间戳抖动等现实问题。实验室标定得到的参数，在车辆长期运行后可能发生微小变化。因此，联合标定不仅是“一次性标定”，还涉及在线校验、退化检测与重标定策略。
二、联合标定的意义：从“能融合”到“融合得准”
联合标定的目标可以概括为三件事：统一空间、统一时间、统一误差模型。空间上，要确定 Camera 到 LiDAR、LiDAR 到 IMU、Camera 到 IMU 的旋转与平移关系；时间上，要估计传感器之间的时间偏移，并保证数据在时间轴上对齐；误差模型上，要理解各传感器的噪声特性、畸变模型和标定残差，为后续优化提供合理权重。
如果标定不准确，常见后果包括：
- 点云投影到图像上出现明显偏移，车道线、路沿、杆状物无法对齐；
- 视觉里程计与激光里程计轨迹不一致，融合后出现漂移或跳变；
- IMU 预积分与视觉/激光观测冲突，优化过程难以收敛；
- 目标检测与跟踪出现重影、漏检或误关联，影响下游规控决策。
因此，联合标定的意义不只是“得到一组参数”，而是建立一套可验证、可复现、可维护的传感器时空基准。它直接决定了融合系统的精度、鲁棒性和工程可维护性。
三、核心原理与方法流程
Camera-LiDAR-IMU 联合标定通常包含以下几个阶段：
- 传感器建模：建立相机针孔/鱼眼模型、LiDAR 扫描模型、IMU 噪声与随机游走模型。
- 数据采集：设计标定场景与运动激励，保证各传感器都能获得充分观测。
- 时间同步：估计传感器间时间偏移，完成硬件触发或软件对齐。
- 外参初值估计：通过标定板、特征匹配、运动约束等方法获得初始外参。
- 联合优化：将相机重投影误差、LiDAR 点面误差、IMU 预积分误差放入统一优化框架。
- 精度评估与验证：通过重投影误差、点云对齐度、轨迹一致性等指标评估标定质量。
其中，联合优化是核心。一个典型的优化目标可以写成：
min Σ ||e_cam||² + Σ ||e_lidar||² + Σ ||e_imu||²
其中：
e_cam = 相机重投影误差
e_lidar = 激光点云到平面/边缘的距离误差
e_imu = IMU 预积分残差
待优化变量：R_cl, t_cl, R_li, t_li, t_offset, bias...这个框架说明，联合标定不是孤立地求某两个传感器之间的变换，而是把所有观测放在一起，让它们互相约束、共同优化。
四、典型场景与案例
以一辆搭载前视相机、顶部激光雷达和车身 IMU 的自动驾驶车辆为例。如果相机与激光雷达外参存在 0.5° 的俯仰误差，在 50 米处就会产生约 0.44 米的投影偏移，足以让车道线检测与点云路沿无法对齐。如果 IMU 与 LiDAR 的时间偏移达到 20 毫秒，在 10 m/s 车速下会产生约 0.2 米的运动误差，导致点云畸变校正不准确。
在另一个案例中，某园区机器人使用 VIO 与激光雷达融合定位。由于相机与 IMU 外参未精确标定，机器人在长走廊中运行约 30 米后出现明显轨迹漂移，融合定位结果与激光雷达建图结果偏差超过 0.5 米。重新进行联合标定后，轨迹一致性显著提升，漂移问题得到有效抑制。
五、常见误区与复盘
初学者在联合标定中容易陷入以下误区：
| 误区 | 表现 | 正确做法 |
|---|---|---|
| 只标外参，忽略时间同步 | 高速运动时点云与图像错位 | 先做时间偏移估计，再做外参优化 |
| 只用静态场景标定 | IMU 参数不可观，外参退化 | 加入充分运动激励，覆盖多轴旋转与平移 |
| 忽略传感器畸变模型 | 图像边缘投影误差大 | 先完成相机内参和畸变标定 |
| 标定后不做验证 | 参数错误但无法发现 | 使用独立数据做重投影与轨迹一致性评估 |
| 认为标定一次永久有效 | 长期运行后精度下降 | 建立在线监测与重标定机制 |
复盘这些误区可以发现，联合标定的关键不只是算法，而是“数据采集—模型建立—优化求解—验证评估”的完整闭环。任何一个环节缺失，都会让最终参数不可信。
六、课程目标与学习路径
本课程的目标是帮助学习者建立 Camera-LiDAR-IMU 联合标定的完整知识体系，并具备工程落地能力。具体包括：
- 理解各传感器坐标系、时间基准与误差模型；
- 掌握相机内参、LiDAR 外参、IMU 噪声参数的基本标定方法；
- 掌握时间同步与外参联合优化的核心思路；
- 能够使用开源工具与自研脚本完成标定实验；
- 能够评估标定精度，定位并解决常见标定问题。
学习路径建议按照“基础建模 → 单传感器标定 → 时间同步 → 外参联合优化 → 精度评估 → 工程实践”的顺序推进。每一阶段都需要结合真实数据与代码实验，避免只停留在公式推导层面。