2. 自动驾驶感知系统概览
自动驾驶车辆要在开放道路中安全行驶，首先必须解决“我在哪、周围有什么、它们将如何运动”三个问题。单一传感器无法同时满足精度、鲁棒性与成本约束，因此现代自动驾驶感知系统普遍采用摄像头、激光雷达、毫米波雷达、超声波雷达、IMU 与 GNSS 组合的多模态架构。理解每种传感器的物理原理与数据特点，是后续多模态表示学习的前提。
一、核心原理：六类传感器的物理机制
摄像头基于小孔成像与光电转换，将三维场景投影为二维像素阵列，输出稠密的 RGB 图像。它拥有最丰富的语义信息（颜色、纹理、交通标志文字），但缺失深度，且受光照、逆光、雨雾影响显著。
激光雷达（LiDAR）通过发射激光脉冲并测量飞行时间（ToF）获得精确距离，机械旋转或固态扫描形成三维点云。其测距精度可达厘米级，直接提供几何结构，但点云稀疏、无颜色，且在大雨、浓雾中衰减明显，成本较高。
毫米波雷达利用 77GHz 频段电磁波的 FMCW 调制，通过差频信号同时解算距离与径向速度（多普勒效应）。它对雨雾、黑夜几乎免疫，测速精度极高，但角分辨率低、点云稀疏，易产生金属护栏等虚假目标。
超声波雷达工作在 40kHz 左右，依靠声波回波测距，探测距离通常小于 5 米，主要用于泊车与近距离障碍物检测，成本极低但易受温度与风速影响。
IMU（惯性测量单元）由三轴加速度计与三轴陀螺仪组成，通过积分获得姿态、速度与位移，输出频率高达 100–1000Hz，短时精度高，但存在零偏漂移，长时间积分误差累积。
GNSS（全球导航卫星系统）通过接收多颗卫星的伪距与载波相位，结合 RTK 差分可达到厘米级绝对定位，但城市峡谷、隧道、地下车库中信号遮挡会导致定位跳变或丢失。
二、数据特点对比：一张表看清差异
| 传感器 | 数据形式 | 测距精度 | 测速能力 | 环境鲁棒性 | 主要短板 |
|---|---|---|---|---|---|
| 摄像头 | 2D 图像 | 间接（依赖标定） | 间接 | 弱（光照/天气） | 无深度、易过曝 |
| 激光雷达 | 3D 点云 | ±2cm | 弱 | 中（雨雾衰减） | 稀疏、无颜色、贵 |
| 毫米波雷达 | 点/目标列表 | ±0.1m | 强（多普勒） | 强（全天候） | 角分辨率低、虚警 |
| 超声波 | 距离值 | ±1cm（近距） | 无 | 中 | 量程短、易受风温影响 |
| IMU | 加速度/角速度 | 短时高、长时漂移 | 积分可得 | 强 | 零偏累积 |
| GNSS | 经纬度/速度 | RTK 厘米级 | 有 | 弱（遮挡） | 城市峡谷跳变 |
三、方法流程：从原始数据到统一表示
多模态感知的工程流程通常分为四步：时间同步（硬件 PTP 或软件插值对齐各传感器时间戳）、空间标定（相机内参、LiDAR-相机外参、雷达-车体坐标变换）、特征提取（图像 CNN/Transformer、点云 PointNet/Pillar、雷达点序列编码）、特征融合（前融合、特征级融合或后融合）。融合后的统一表示再送入检测、跟踪与预测模块。
# 典型多传感器时间同步与标定配置示例
sensors:
camera_front:
topic: /cam/front/image
intrinsics: [fx, fy, cx, cy]
extrinsics: T_cam_ego
lidar_top:
topic: /lidar/points
extrinsics: T_lidar_ego
radar_front:
topic: /radar/objects
extrinsics: T_radar_ego
sync:
method: PTP # 硬件时间同步
max_offset_ms: 5 # 允许最大时间偏差
fusion:
strategy: feature_level
backbone: BEVFormer
四、案例场景：城市路口的多模态互补
设想自车在城市十字路口左转。摄像头识别到绿灯与行人意图，但逆光导致远处车辆过曝；激光雷达提供精确的车辆轮廓与距离，却在雨滴中产生噪点；毫米波雷达稳定输出前方车辆的径向速度，帮助判断其是否减速；IMU 与轮速计提供短时航位推算，弥补 GNSS 在高楼遮挡下的跳变。四类信息在 BEV 空间对齐后，系统才能同时获得“是什么、在哪里、多快、往哪去”的完整认知。
五、常见误区与复盘
- 误区一：传感器越多越好。若标定误差大、时间不同步，融合反而引入冲突，导致比单传感器更差。
- 误区二：忽视外参标定漂移。车辆震动会使相机与 LiDAR 外参缓慢变化，需定期在线标定。
- 误区三：用同一套融合策略应对所有天气。应设计环境自适应的权重调度机制。
- 复盘要点：建立传感器健康度监控，记录各模态在特定场景下的失效模式，形成数据闭环。