1、课程导论：什么是激光雷达与相机联合标定？为什么需要联合标定？标定的核心目标与评价指标。
大家好，我是你们这趟联合标定之旅的向导。说实话，每次开新课我都挺兴奋的，因为标定这件事，真的是自动驾驶感知系统里最基础、也最容易被忽视的“地基”。
你想想看，一辆车上装了激光雷达，又装了相机。激光雷达给你一堆三维点云，相机给你一张二维图像。它们各自看得清清楚楚，但问题是——它们看到的不是同一个世界。激光雷达说“前方3米有个障碍物”，相机说“图像中心区域有个物体”。这两个信息怎么对齐？怎么让系统知道，点云里的那个点，就是图像里的那个像素？
嗯，这就是我们今天要聊的核心——激光雷达与相机联合标定。
什么是联合标定？
说白了，联合标定就是找到一把“钥匙”。这把钥匙能精确地把激光雷达坐标系里的点，映射到相机的像素坐标系里。
我习惯用一个比喻来解释：激光雷达和相机就像两个语言不通的人。激光雷达说“三维坐标语”，相机说“像素语”。联合标定就是给它们配一个翻译官。这个翻译官，我们通常用一个4x4的变换矩阵来表示。它包含了旋转和平移信息。
数学上，这个过程可以简化为：
P_image = K * [R | t] * P_lidar其中：
P_lidar是激光雷达坐标系下的三维点[R | t]是外参矩阵（我们要找的钥匙）K是相机内参矩阵（相机自己的属性）P_image是图像上的像素坐标
我在项目中遇到过不少新人，一上来就盯着这个公式看，觉得很难。其实不用怕。你只需要记住：标定的本质，就是求解这个 [R | t] 矩阵。
为什么需要联合标定？
这个问题，我反问过自己很多次。答案其实很直接：因为单一传感器有盲区，而融合能互补。
举个例子：
- 激光雷达：精度高，能测距，但稀疏，没有颜色信息。遇到白色卡车、黑色路面，它可能“看”不到。
- 相机：纹理丰富，能识别车道线、交通灯，但测距不准，受光照影响大。
如果它们各自为政，系统就会很“傻”。激光雷达说“前方有障碍”，但不知道是车还是人。相机说“前方有行人”，但不知道距离多远。
只有把它们标定好了，才能做到：
- 数据级融合：把点云投影到图像上，给每个点“上色”。
- 目标级融合：激光雷达检测到的目标，和相机检测到的目标，在空间上对应起来。
- 决策级融合：综合两者信息，做出更可靠的判断。
核心观点：没有标定，融合就是空谈。你想想看，如果标定误差有10个像素，那投影到图像上的点就歪了。系统会以为障碍物在车道左边，其实它在右边。这后果，在高速上可是致命的。
标定的核心目标
我们的目标很明确，就三个字：准、稳、快。
- 准（精度）：投影误差要小。通常要求重投影误差在1-2个像素以内。
- 稳（鲁棒性）：标定结果不能今天一个样，明天一个样。要经得起震动、温度变化。
- 快（效率）：产线上标定一台车，不能花半小时。最好几分钟搞定。
我个人习惯把精度放在第一位。因为精度不够，后面做感知、做规划，全是错的。我曾经在一个项目里，因为标定板没放平，导致外参偏了0.5度。结果高速上，融合后的目标位置偏差了30厘米。嗯，那一次排查了整整两天才找到原因。
评价指标
怎么判断标定得好不好？不能光靠“感觉”。我们需要量化指标。
| 指标名称 | 说明 | 典型要求 |
|---|---|---|
| 重投影误差 (Reprojection Error) | 点云角点投影到图像后，与图像角点的像素距离 | < 2 pixel |
| 深度一致性 | 激光雷达测距与视觉测距的差异 | < 5 cm @ 20m |
| 边缘对齐度 | 点云边缘与图像边缘的视觉对齐情况 | 肉眼无明显错位 |
| 标定稳定性 | 多次标定结果的标准差 | 旋转 < 0.05°，平移 < 1 cm |
避坑指南：我曾经只盯着重投影误差看，觉得0.5个像素就很完美了。结果实际路测时，发现远处目标对不齐。为什么？因为重投影误差只反映了近处的精度，远处的误差会被放大。所以，我建议你一定要在多个距离下验证，尤其是30米、50米这种远距离。
知识体系总览
为了让你对整个章节有个直观印象，我画了一张图。它展示了联合标定的核心逻辑：从传感器数据出发，经过特征提取、匹配、求解，最终得到外参，并用于融合应用。
这张图你看懂了吗？从左到右，其实就是我们标定的完整流程。后面每一章，我都会带你深入其中一个环节。
注意事项：标定不是一劳永逸的。车辆在行驶中，由于震动、温度变化，外参可能会发生微小的漂移。我建议你定期做在线标定校准，或者设计一个监控机制，实时检测标定结果是否还可靠。
好了，这一章就到这里。记住一句话：标定是融合的基石，基石不稳，大厦将倾。下一章，我们会聊聊标定板的设计与制作，那是我们获取特征点的第一步。
可可精品资料库