2. 自动驾驶感知基础

自动驾驶系统要理解世界，第一步不是“看见”，而是把不同传感器采集到的物理量，转换成统一、可计算、可对齐的时空描述。摄像头给出二维图像，激光雷达给出三维点云，毫米波雷达给出距离与速度，IMU 与轮速计给出运动信息。它们各自工作在不同频率、不同视角、不同坐标系下，只有完成传感器建模、坐标变换、时间同步与多模态融合，后续的检测、跟踪、预测和世界模型才有可靠输入。

一、核心传感器类型与数据特性

自动驾驶常用传感器可分为被动成像、主动测距和自运动测量三类。摄像头成本低、纹理丰富，适合识别车道线、交通标志和颜色语义，但缺少直接深度；激光雷达通过飞行时间测距获得高精度三维点云，空间结构清晰，但受雨雾和反射率影响；毫米波雷达利用多普勒效应测速，穿透性强、测速准，但角分辨率相对较低；IMU、轮速计和 GNSS 提供车辆自身运动与全局位置，是时空对齐的重要基准。

二、坐标系体系与变换关系

多传感器融合的本质，是把不同坐标系中的观测统一到同一参考系。常见坐标系包括：像素坐标系（u,v）、图像坐标系（x,y）、相机坐标系（Xc,Yc,Zc）、激光雷达坐标系（Xl,Yl,Zl）、车辆坐标系（Xv,Yv,Zv，通常原点在后轴中心）、世界坐标系（Xw,Yw,Zw）。相机内参完成像素到归一化平面的映射，外参完成相机、激光雷达、车辆之间的刚体变换。

# 相机投影：像素坐标与相机坐标关系
u = fx * Xc / Zc + cx
v = fy * Yc / Zc + cy

# 外参变换：激光雷达点变换到车辆坐标系
P_vehicle = R_lidar_to_vehicle * P_lidar + t_lidar_to_vehicle

# 世界坐标下的目标状态
P_world = R_vehicle_to_world * P_vehicle + t_vehicle_to_world

其中 R 为旋转矩阵，t 为平移向量。实际工程中，外参通常由离线标定获得，并在车辆运行中通过在线标定进行微调。若外参存在 0.5° 以上误差，在 50 米处可能产生约 0.4 米的位置偏差，足以影响车道级判断。

三、时空对齐：从“各自采样”到“同一瞬间”

时间对齐解决“不同传感器不在同一时刻采样”的问题。摄像头曝光、激光雷达扫描、雷达 chirp 周期和 IMU 采样都有各自时间戳。常用方法包括：硬件触发同步、PTP/gPTP 网络时间同步、基于时间戳的线性插值与运动补偿。对于高速运动场景，仅做时间戳插值不够，还需利用 IMU 或轮速计进行运动畸变补偿，把一帧激光雷达内不同时刻的点统一到同一参考时刻。

空间对齐则解决“同一目标在不同坐标系中位置不同”的问题。典型流程是：先完成传感器间外参标定，再将各传感器观测变换到车辆坐标系或世界坐标系，最后进行特征级或目标级关联。时间与空间必须联合处理，否则会出现“目标在图像中偏左、在点云中偏右”的错位现象。

四、多模态数据融合的基本概念

多模态融合按阶段可分为前融合、特征级融合和后融合。前融合在原始数据层进行，例如将点云投影到图像平面，保留最多信息，但对标定和同步要求极高；特征级融合在中间层进行，例如将图像 CNN 特征与点云 BEV 特征拼接或交叉注意力融合，兼顾信息量与鲁棒性；后融合在目标层进行，各传感器独立检测后再关联，工程落地简单，但会丢失部分原始信息。

五、典型场景与常见误区

以城市路口为例：摄像头识别到红灯和行人，激光雷达在 30 米处检测到行人轮廓，毫米波雷达给出该行人径向速度约 1.2 m/s。若三者时间戳相差 80 ms，行人位置可能错开约 0.1 米；若外参标定偏差 1°，30 米处横向误差约 0.52 米。融合系统必须先把三者统一到同一时刻的车辆坐标系，再进行目标关联，否则会出现“同一行人被重复计数”或“速度与位置不匹配”的问题。

六、工程复盘要点

• 时间基准统一：所有传感器时间戳应统一到同一时钟源，推荐使用 PTP 或 gPTP，并记录同步误差。
• 坐标链路可追溯：从像素到世界坐标的每一步变换都应保留矩阵和标定时间，便于问题定位。
• 融合层级匹配场景：高速场景优先特征级融合，低速泊车可侧重后融合，前融合适合标定精度高的平台。
• 在线监控与降级：实时监测时间偏差、外参残差和传感器健康状态，异常时自动降级到单传感器模式。

掌握传感器类型、坐标系、时空对齐与多模态融合，是构建驾驶世界模型时空状态预测能力的基础。只有让不同传感器在统一时空基准下“说同一种语言”，后续的轨迹预测、占用栅格和世界模型推演才能稳定可靠。