一、多传感器外参标定概述
大家好，我是你们这门课的主讲。在自动驾驶、机器人、AR/VR这些领域摸爬滚打了十来年，踩过的坑不少，攒下的经验也还行。今天咱们正式开始聊一个绕不开的话题——多传感器外参标定。
说实话，我见过太多项目，传感器买的是顶级的，算法模型也是最新的，但最后系统跑起来就是各种抽风。为什么？说白了，就是传感器之间的“手脚”没协调好。你想想看，一个激光雷达说障碍物在左边3米，摄像头却说在右边2米，这车谁敢开？
什么是外参标定
外参，全称是外部参数。它描述的是不同传感器坐标系之间的相对位置和姿态。比如，激光雷达装在车顶，摄像头装在前挡风玻璃后面，它们之间有一个固定的空间关系——旋转了多少度，平移了多少米。这个关系，就是外参。
我习惯用一个比喻来解释：外参标定就像给一群舞者排位置。每个传感器都是一个舞者，它们各自有自己的“站位”（坐标系）。外参就是告诉系统，A舞者站在B舞者的左前方1米，面向正前方。这样，当A看到有人挥手，系统就能知道这个人相对于B在什么位置。
具体来说，外参包含两部分：
- 旋转矩阵（R）：描述两个坐标系之间的旋转关系。比如摄像头是歪着装的，还是正着装的。
- 平移向量（t）：描述两个坐标系原点之间的位移。比如激光雷达在摄像头左边多少厘米。
嗯，这里要注意，外参是刚体变换。也就是说，一旦标定好了，只要传感器没被碰歪，这个关系就是固定的。我在项目中遇到过，有人把摄像头拆下来擦了擦灰，装回去没重新标定，结果整个系统的定位全偏了。所以，物理安装的稳定性是外参标定的前提。
T = [R t]
[0 1]为什么需要外参标定
这个问题，我每次上课都会被问到。其实答案很简单：没有外参，多传感器融合就是一句空话。
你想想看，自动驾驶里，摄像头看到的是像素，激光雷达看到的是点云，毫米波雷达看到的是目标列表。这些数据天然不在同一个“语言体系”里。外参就是那个翻译官，把不同传感器的数据统一到同一个坐标系下。
具体来说，外参标定的必要性体现在三个方面：
- 数据对齐：只有知道每个传感器的位置和朝向，才能把激光雷达的点云投影到图像上，或者把摄像头检测到的目标映射到世界坐标系中。
- 融合精度：外参不准，融合就是“乱炖”。我曾经在一个项目中，外参差了2厘米，结果在30米外的目标定位误差直接到了半米。这在自动驾驶里是致命的。
- 系统鲁棒性：当某个传感器失效时，系统需要依靠其他传感器的数据来“补位”。如果外参不准，这个补位就是瞎补。
外参标定的应用场景
外参标定不是某个领域的专属，几乎所有需要多传感器协同工作的系统都离不开它。我挑三个最典型的场景聊聊。
自动驾驶
这是外参标定需求最旺盛的领域。一辆典型的自动驾驶车，通常搭载：
- 1个激光雷达（Lidar）
- 6-12个摄像头（Camera）
- 3-5个毫米波雷达（Radar）
- 1-2个惯性测量单元（IMU）
这些传感器分布在车身的各个位置。激光雷达在车顶，摄像头在前杠、后杠、两侧翼子板。每个传感器都有自己的视野盲区，只有通过外参标定，才能把它们的“所见”拼成一幅完整的场景图。
我记得有一次，我们测试一辆车的自动泊车功能。摄像头明明看到了车位线，但系统就是规划不出路径。查了两天，发现是后视摄像头的俯仰角标定偏了1度。就这么1度，让车位线的投影位置错了20厘米。嗯，从那以后，我对标定数据的审核就格外严格了。
机器人
机器人领域，外参标定同样关键。无论是工业机械臂、仓储AGV，还是服务机器人，都离不开多传感器融合。
举个例子，一个仓储机器人，头顶一个2D激光雷达用于导航，胸前一个深度摄像头用于识别货架上的二维码。这两个传感器之间的外参如果不准，机器人就永远无法准确地把机械臂伸到货架前。我见过一个项目，AGV老是撞货架腿，最后发现是激光雷达和底盘的安装角度标定错了。
AR/VR
AR/VR设备是外参标定的“隐形战场”。你戴上一个AR眼镜，它需要知道你的头在空间中的位置，同时还要把虚拟物体“钉”在现实世界的某个点上。这背后，是摄像头、IMU、甚至深度传感器之间的外参在起作用。
我体验过一些早期的AR设备，虚拟物体老是“飘”，跟不上头部的转动。说白了，就是摄像头和IMU之间的外参标定不够准，导致姿态估计有延迟和漂移。现在的设备好多了，但标定的精度要求也更高了——毫米级、毫弧度级的误差都会影响体验。
课程整体大纲介绍
这门课一共30章，我把它分成了五个模块。每个模块解决一个核心问题。下面这张图，是我自己画的课程知识体系，你可以先有个整体印象。
下面我简单说一下每个模块的核心内容：
| 模块 | 章节 | 核心内容 |
|---|---|---|
| 基础篇 | 第1-5章 | 坐标系与刚体变换、传感器模型（相机、激光雷达、IMU）、标定板设计、数据采集规范 |
| 方法篇 | 第6-12章 | Lidar-Camera标定（目标法、无目标法）、Camera-IMU标定（Kalibr）、Lidar-IMU标定 |
| 进阶篇 | 第13-20章 | 多传感器联合标定（Lidar-Camera-IMU）、在线标定、自标定、标定不确定性分析 |
| 实战篇 | 第21-26章 | 开源工具链（Kalibr、lidar_camera_calibration、MOLA）、自动化标定流程搭建 |
| 工程篇 | 第27-30章 | 标定精度评估方法、常见问题排查、标定结果在SLAM/融合系统中的验证 |
我个人觉得，这门课最大的特色不是讲理论，而是把我在项目中踩过的坑、试过的错、总结出的套路，原原本本地分享给你。每一章我都会配一个真实案例，告诉你“当时我是怎么搞砸的，后来又是怎么修好的”。
好了，第一章就到这里。外参标定这件事，说难不难，说简单也不简单。但只要你理解了它的本质——找到传感器之间的空间“对齐密码”——后面的路就好走了。