第一章：感知融合系统概述

各位同学好，我是老张。在自动驾驶这个行当摸爬滚打了快十年，今天咱们聊聊感知融合系统。说实话，这是整个自动驾驶系统里最让我头疼、也最有意思的部分。

你想想看，一辆车要安全地跑在路上，它得知道周围发生了什么。光靠一种传感器？不够。就像人一样，光用眼睛看，下雨天就抓瞎；光用耳朵听，静音电动车就听不见。所以，我们需要把多种传感器的数据融合起来，这就是感知融合系统干的事。

1.1 系统架构：三层结构

我习惯把感知融合系统分成三层。这个分层方式，是我在项目里踩过坑之后总结出来的。

• 数据层：原始传感器数据，比如摄像头图像、激光雷达点云、毫米波雷达点迹。这一层数据量最大，但信息最原始。
• 特征层：从原始数据里提取出有意义的信息，比如目标检测框、速度、类别。说白了，就是把原始数据翻译成机器能理解的“语言”。
• 决策层：把不同传感器提取的特征进行关联、融合，最终输出一个统一的环境模型。嗯，这里要注意，决策层的输出质量，直接决定了后续规划控制能不能正常工作。

我曾经在一个项目中，只用了摄像头和激光雷达做融合。结果在雨天，摄像头基本失效，激光雷达也受雨滴干扰，系统直接“失明”。后来加入了毫米波雷达，才解决了这个问题。所以，传感器选型不是越多越好，而是要看它们能不能互补。

1.2 传感器类型：Camera / Lidar / Radar

咱们一个一个说。这三种传感器，各有各的脾气。

1.2.1 摄像头（Camera）

摄像头是感知系统的“眼睛”。它提供的信息最丰富，颜色、纹理、形状都能看到。但它的缺点也很明显：受光照影响大，晚上基本半瞎；没有深度信息，得靠算法算。

我个人习惯，在白天场景下，摄像头是主力。但在夜间或隧道里，我会降低它的权重，让其他传感器多说话。

1.2.2 激光雷达（Lidar）

激光雷达是“尺子”。它发射激光束，测量反射时间，直接得到三维点云。精度高，不受光照影响。但它的分辨率有限，而且成本高。

我记得有一次调试，激光雷达在雪天里疯狂报错。后来发现，雪花反射的激光被当成了障碍物。这就是典型的噪声问题，需要做点云滤波。

1.2.3 毫米波雷达（Radar）

雷达是“速度计”。它用电磁波测距和测速，穿透性好，雨雪雾天都不怕。但它的角度分辨率低，而且对静止目标不太敏感。

你想想看，雷达在高速上特别好用，能直接测出前车的相对速度。但在城市低速场景，它就容易把路边的金属护栏当成障碍物。所以，雷达数据需要结合摄像头或激光雷达做验证。

传感器	优势	劣势	典型应用场景
Camera	信息丰富，识别能力强	受光照影响大，无深度	车道线、交通标志、行人识别
Lidar	精度高，三维感知	成本高，受天气影响	障碍物检测、地图构建
Radar	测速准，全天候	角度分辨率低，静止目标弱	自适应巡航、碰撞预警

1.3 数据流与时间同步基础

数据流，说白了就是数据怎么在系统里流动。从传感器采集，到预处理，到特征提取，再到融合，最后输出。每一步都有延迟，而且不同传感器的延迟还不一样。

这就引出了一个大问题：时间同步。

为什么需要时间同步？举个例子：摄像头在 t1 时刻拍到一辆车，激光雷达在 t2 时刻也扫到同一辆车。如果 t1 和 t2 相差太大，那这两条数据就不是描述同一个时刻的物体。融合出来的结果就是错的。

我刚开始做融合时，就犯过这个错。摄像头和激光雷达的时间戳没对齐，结果融合出来的目标位置一直在抖动。后来查了三天，才发现是时间同步的问题。

时间同步有两种常见方式：

• 硬同步：通过硬件信号（如GPS的PPS脉冲）统一触发所有传感器。精度高，但需要硬件支持。
• 软同步：通过软件算法，根据时间戳进行插值或对齐。成本低，但精度受限于系统时钟。

在实际工程中，我建议优先用硬同步。如果条件不允许，软同步也能用，但要做好时间戳的校准和补偿。

下面这张图，是我画的一个典型感知融合系统数据流。你可以看到，数据从传感器出发，经过预处理、特征提取，最后在融合模块里汇合。

好了，这一章就聊这么多。记住，感知融合不是简单的“1+1=2”，而是要让不同传感器互相补充、互相验证。下一章，咱们会深入聊聊数据关联的具体算法。