1. 课程导论

大家好，欢迎来到这门课。

先说说我自己的经历。几年前我参与一个自动驾驶项目，车在路上跑得好好的，突然遇到一个施工区域——激光雷达扫到了锥桶，但摄像头因为逆光没识别出来。结果呢？融合模块直接忽略了激光雷达的检测，信了摄像头的“没障碍物”。幸好安全员及时接管，不然就撞上去了。

事后排查原因，发现是传感器之间的外参标定出了问题。两个传感器的坐标系根本没对齐，融合算法自然就“打架”了。从那天起我就明白：传感器融合做得好不好，标定是地基。地基不稳，上层算法再牛也白搭。

1.1 什么是传感器融合？

说白了，传感器融合就是让多个传感器“商量着来”。

每个传感器都有自己的长处和短板：

• 激光雷达：测距准，但点云稀疏，雨天性能下降明显。
• 摄像头：纹理丰富，能识别车道线、交通标志，但深度估计天生弱。
• 毫米波雷达：速度测量准，穿透雨雾能力强，但角度分辨率低。
• IMU：短时间姿态估计极准，但长时间会漂移。

融合的目标就是取长补短。我习惯把融合分为三个层级：

层级	名称	核心思路	典型方法
1	数据级融合	原始数据直接拼接	多视角图像拼接、点云叠加
2	特征级融合	提取特征后再融合	BEV特征投影、注意力机制
3	决策级融合	各自出结果再投票	卡尔曼滤波、D-S证据理论

你可能会问：哪个层级最好？其实没有标准答案。我在项目中遇到过，数据级融合对带宽要求高，决策级融合又容易丢失信息。现在工业界的主流趋势是特征级融合，尤其是基于BEV（鸟瞰图）的方法，兼顾了信息保留和计算效率。

1.2 什么是多视角标定？

多视角标定，就是把不同传感器的坐标系对齐到同一个世界坐标系下。

举个例子：摄像头看到前方5米处有行人，激光雷达也看到前方5米处有障碍物。怎么确定它们是同一个物体？前提是——两个传感器的“前方5米”指向的是同一个空间点。这就是标定要解决的问题。

标定通常包含两部分：

• 内参标定：传感器自身的参数（焦距、畸变、安装角度等）。
• 外参标定：传感器之间的相对位姿（旋转矩阵R、平移向量t）。

多视角标定的难点在哪？我总结了几点：

我曾经在一个项目中，因为忽略了激光雷达的扫描时间戳对齐，导致标定误差达到10厘米以上。后来花了整整一周排查，才发现是时间戳偏差的问题。嗯，从那以后我再也不敢轻视时间同步了。

1.3 应用场景

传感器融合与多视角标定不是纸上谈兵，它在多个领域都是核心能力。

1.3.1 自动驾驶

这是最典型的场景。一辆L4级自动驾驶车通常搭载：

• 1个前向激光雷达
• 6-8个摄像头（环视+前向+侧向）
• 4-6个毫米波雷达
• 1个IMU + GNSS

这些传感器必须精确标定，否则融合后的感知结果就是“鸡同鸭讲”。

1.3.2 机器人

不管是仓储AGV还是人形机器人，都需要融合多传感器来建图、定位、避障。我记得有个扫地机器人项目，因为摄像头和激光雷达的标定偏差，机器人总把墙角的阴影当成障碍物，绕来绕去过不去。标定调好后，问题立刻解决。

1.3.3 AR/VR

AR眼镜需要把虚拟物体“钉”在真实空间里。这背后是摄像头、IMU、深度传感器的融合标定。你想想看，如果标定不准，虚拟杯子放在桌上，你头一动它就飘走了——体验感直接归零。

1.4 课程目标与学习路径

这门课的目标很明确：让你能独立完成一套多传感器系统的标定与融合。

具体来说，学完这门课你应该能：

1. 理解传感器模型与坐标系变换的数学基础。
2. 掌握单传感器内参标定方法（摄像头、激光雷达、IMU）。
3. 实现多传感器外参标定（LiDAR-Camera、Camera-IMU、多Camera）。
4. 搭建一个简单的传感器融合系统（目标检测+跟踪）。
5. 处理实际工程中的标定误差与时间同步问题。

学习路径我建议这样走：

别急着跳着看。我见过太多人一上来就学BEV融合，结果连坐标系变换都搞不清楚，代码跑出来全是NaN。基础打牢，后面才快。

1.5 本章知识体系

下面这张图概括了本章的核心逻辑：

从图中你能看到，传感器融合和多视角标定是相互依赖的。标定不准，融合就是空中楼阁；融合不好，标定精度也无从验证。这门课会带着你从数学基础走到工程落地，每一步都有代码和实战案例。

好，导论就到这里。接下来我们进入第2章，先把坐标系变换这个基本功打扎实。