一、传感器融合概述：什么是传感器融合？为什么规划调试需要它？核心概念与挑战

大家好，我是你们这期课程的主讲工程师。在自动驾驶这个行当摸爬滚打了十来年，我踩过的坑、调过的参，估计能写满好几个硬盘。今天咱们开始第一讲，聊聊传感器融合。

说白了，传感器融合就是让车上的各种“眼睛”和“耳朵”协同工作。你想想看，一个人开车，光用眼睛看，雨天雾天就抓瞎；光用耳朵听，又分不清声音从哪来。自动驾驶也一样，摄像头、激光雷达、毫米波雷达、超声波……每个传感器都有自己的脾气和短板。融合，就是把它们的数据捏合在一起，得出一个更靠谱、更完整的环境感知结果。

1.1 什么是传感器融合？

我习惯把传感器融合比作“拼图游戏”。每个传感器提供一块拼图碎片，有的清晰但范围窄（比如摄像头），有的模糊但距离远（比如毫米波雷达）。融合算法要做的，就是把这些碎片拼成一幅完整的画面。

从技术层面讲，传感器融合分为三个层级：

• 数据级融合：直接对原始数据进行处理。比如把激光雷达的点云和摄像头的像素对齐。这种方式计算量大，但信息损失最少。
• 特征级融合：先提取特征，再融合。比如从摄像头里提取车道线，从激光雷达里提取障碍物轮廓，然后合并。这是目前工程中最常用的方式。
• 决策级融合：每个传感器独立做出判断，最后投票。比如摄像头说“前面有车”，雷达也说“前面有车”，那就信了。这种方式鲁棒性好，但可能丢失细节。

1.2 为什么规划调试需要它？

这个问题，我当年刚入行时也问过自己。规划模块说白了就是“决策”，它需要知道“我在哪”、“周围有什么”、“接下来会发生什么”。如果感知数据不准，规划就是瞎指挥。

举个例子。我在项目里遇到过这么一件事：有一次路测，车辆在高速上突然急刹车。排查了半天，发现是毫米波雷达把路边的金属护栏误检成了静止车辆。规划模块收到这个“假目标”，以为要撞车了，一脚刹车踩死。你看，这就是单一传感器带来的问题。

规划调试为什么需要传感器融合？原因有三：

1. 提升可靠性：单一传感器容易受环境影响。摄像头怕逆光，激光雷达怕雨雪，雷达怕多径反射。融合后，一个传感器失效，其他还能顶上。
2. 提高精度：规划需要知道障碍物的精确位置、速度、朝向。单个传感器往往有噪声，融合后可以通过冗余信息降低不确定性。
3. 扩展感知范围：不同传感器的探测距离和视场角不同。融合后，可以做到“远近兼顾、左右逢源”。

1.3 核心概念与挑战

嗯，这里要稍微深入一点。传感器融合不是把数据堆在一起就完事了，它有几个绕不开的核心概念和挑战。

核心概念

概念	说明
时间同步	不同传感器的采样频率不同，必须对齐到同一时间戳。否则，你融合的是“过去”和“现在”的数据，结果肯定错。
空间对齐	每个传感器有自己的坐标系。必须通过标定，把数据统一到车体坐标系或世界坐标系下。
不确定性建模	每个测量值都有误差。融合算法需要知道每个传感器的“可信度”，才能合理分配权重。
数据关联	同一个障碍物，被多个传感器检测到。怎么判断它们是同一个目标？这就是数据关联要解决的问题。

主要挑战

说实话，传感器融合看着简单，做起来全是坑。我总结了几条：

• 标定误差：我曾经因为激光雷达和摄像头的外参标定差了2厘米，导致融合后的障碍物位置一直偏。排查了整整两天。标定是融合的基石，一点马虎不得。
• 延迟问题：传感器数据处理有延迟，融合算法也有计算时间。如果延迟太大，规划模块拿到的就是“过期”信息。这在高速场景下非常危险。
• 异构数据：激光雷达输出点云，摄像头输出图像，雷达输出目标列表。这些数据格式完全不同，怎么融合？没有银弹，只能针对场景设计策略。
• 环境变化：隧道、雨雪、强光……每个场景对传感器的干扰都不一样。融合算法需要自适应调整，不能一套参数打天下。

1.4 知识体系总览

为了让大家对本章内容有个整体印象，我画了一张图。这张图展示了传感器融合在自动驾驶系统中的位置，以及它和规划模块的关系。

从这张图可以看得很清楚：传感器融合是连接“感知”和“规划”的桥梁。没有这座桥，规划模块就是瞎子摸象。我每次调试新车型，第一件事就是检查融合输出的质量。融合稳了，规划才有底气。

1.5 小结

这一章我们聊了传感器融合是什么、为什么规划调试离不开它，以及核心概念和挑战。说白了，融合就是让多个传感器“取长补短”，给规划模块提供一份靠谱的“世界模型”。

下一章，我们会深入传感器融合的数学基础——坐标系变换与标定。那是所有融合算法的地基，也是我当年踩坑最多的地方。到时候我会分享一些实战中的标定技巧，保证让你少走弯路。

---