1. 课程导论：什么是联合标定？为什么需要联合标定？课程目标与学习路径
1.1 先聊聊我为什么做这门课
大家好，我是你们这门课的主讲。
在自动驾驶行业摸爬滚打了快十年，我踩过最多的坑，就是传感器标定。尤其是相机和激光雷达的联合标定。
说实话，刚入行那会儿，我觉得标定就是个“配准”问题。找个棋盘格，拍几张照片，算个外参就完事了。结果呢？
第一次路测，车刚开出去500米，点云和图像就对不上了。障碍物在图像里看着在左边，点云却显示在右边。我当时冷汗就下来了——这要是撞了，算谁的？
后来我才明白：联合标定不是一次性的数学题，而是贯穿整个传感器生命周期的系统工程。
1.2 什么是联合标定？
说白了，联合标定就是给相机和激光雷达“牵红线”。
相机看到的是像素，是RGB颜色。激光雷达看到的是点云，是三维坐标(x, y, z)。它们俩各自为政，各说各话。
联合标定要做的，就是找到一组参数——我们叫它外参矩阵——把激光雷达的每一个点，精确地投影到相机的图像上。
核心公式（记住这个就行）：
Pimage = K × [R | t] × Plidar
其中：
- Plidar：激光雷达坐标系下的3D点
- [R | t]：旋转矩阵 + 平移向量（就是我们要标定的外参）
- K：相机内参矩阵（焦距、主点等）
- Pimage：投影到图像上的像素坐标
嗯，公式看着简单。但实际做起来，你会发现处处是坑。
1.3 为什么需要联合标定？
你可能会问：两个传感器各干各的不行吗？
不行。原因有三：
- 信息互补：相机有纹理，没深度；激光雷达有深度，没纹理。合在一起，才能知道“那个红色的东西到底离我多远”。
- 冗余安全：万一某个传感器坏了，另一个还能顶上。但前提是它们的数据能对齐。
- 融合感知：现在的BEV感知、多模态大模型，都要求输入数据是空间对齐的。标定不准，模型直接废掉。
我记得有一次，一个团队花了大半年训了一个目标检测模型。上线后发现，白天效果很好，一到晚上就乱报。查来查去，发现是标定参数随着温度变化发生了漂移。白天标定完，晚上一降温，外参就变了。
所以，联合标定不是一劳永逸的事。你得考虑温度、振动、时间漂移……这些都是实战中才会遇到的真实问题。
1.4 课程目标
这门课的目标很明确：
- 让你从零搭建一套联合标定系统，而不是只会调别人的开源工具
- 理解标定背后的数学原理，知道每个参数是怎么算出来的
- 掌握实战中的避坑技巧，比如标定板怎么选、数据怎么采、精度怎么评估
- 能独立解决标定失败的问题，而不是出了问题只会重跑一遍
我的建议：
学这门课的时候，最好手边有一套传感器。哪怕是用手机摄像头+一个便宜的激光雷达模拟器也行。光看不动手，永远学不会标定。
1.5 学习路径与知识体系
下面这张图，是我梳理的课程知识体系。你可以把它当成一张地图，随时回来看看自己走到哪了。
整个课程我分成了四个阶段：
- 第一阶段：基础理论——坐标系变换、相机模型、激光雷达原理。这部分虽然枯燥，但很重要。我见过太多人因为坐标系搞反了，标定结果差十万八千里。
- 第二阶段：核心方法——PnP求解、非线性优化、手眼标定。这是标定的“发动机”，你得知道它怎么转的。
- 第三阶段：实战演练——从数据采集到代码实现，再到精度评估。我会带着你一行一行写代码。
- 第四阶段：进阶与工程化——多传感器标定、温度补偿、自动化流水线。这些是你在实际项目中一定会遇到的。
注意：
我曾经见过有人跳过基础理论，直接上手写标定代码。结果花了三周时间，最后发现是相机内参标错了。基础不牢，地动山摇。别走捷径。
1.6 你需要准备什么
| 工具/技能 | 说明 | 推荐 |
|---|---|---|
| 编程语言 | Python + C++ | Python用于快速验证，C++用于工程部署 |
| 数学基础 | 线性代数、三维几何 | 重点：旋转矩阵、四元数、李代数 |
| 传感器 | 相机 + 激光雷达 | 没有硬件可以用公开数据集（KITTI、nuScenes） |
| 工具库 | OpenCV、PCL、Eigen | 我会在课程中带大家安装配置 |
好了，这就是课程导论的全部内容。从下一节开始，我们就要正式进入联合标定的世界了。
记住一句话：标定是感知的基石，而理解标定，是成为优秀自动驾驶工程师的第一步。
一个小建议：
学完每一章，试着用自己的话复述一遍。如果能讲给别人听，那才是真懂了。我在带团队的时候，经常让新人给我讲标定原理——能讲明白的，上手都很快。