2. 自动驾驶感知基础

自动驾驶系统要理解世界，第一步不是“看懂图像”，而是把不同传感器采集到的物理量统一到同一时空框架中。摄像头给出二维像素与纹理，激光雷达给出三维点云与距离，毫米波雷达给出速度与相对距离，IMU与轮速计给出运动信息。VLM多模态模型之所以能进行场景推理，前提是这些异构数据已经被正确对齐、标定并映射到统一表示，例如BEV或Occupancy栅格。本节围绕这条数据链路展开。

一、传感器类型：不同模态的互补性

自动驾驶常用传感器可分为视觉、主动测距和自车运动三类。摄像头成本低、分辨率高，擅长识别颜色、文字、交通标志和语义类别，但缺乏绝对深度，受光照和天气影响大。激光雷达通过飞行时间测量获得高精度三维点云，对距离和几何结构敏感，但雨雾天气衰减明显，且点云稀疏、无序。毫米波雷达利用多普勒效应直接测量径向速度，穿透雨雾能力强，但角分辨率较低、噪声点较多。IMU与轮速计不直接感知外部目标，却为多帧数据提供运动补偿和位姿估计基础。

多模态融合的价值在于互补：摄像头提供“是什么”，激光雷达提供“在哪里、多远”，雷达提供“动得多快”，IMU提供“自车如何运动”。VLM要做的场景推理，往往需要同时回答对象类别、空间位置、运动趋势和相互关系，因此单一模态难以支撑。

二、坐标系体系：从传感器到统一空间

自动驾驶中常见的坐标系包括：像素坐标系、图像坐标系、相机坐标系、激光雷达坐标系、雷达坐标系、IMU坐标系、自车坐标系（Vehicle/Body）以及世界坐标系（World/Map）。像素坐标以图像左上角为原点，单位为像素；相机坐标系以光心为原点，Z轴沿光轴向前；激光雷达坐标系通常以雷达安装中心为原点，X向前、Y向左、Z向上；自车坐标系以后轴中心或质心为原点，描述车辆自身姿态；世界坐标系则用于多帧累积和全局定位。

坐标变换依赖外参（旋转与平移）和内参（焦距、主点、畸变系数）。相机内参把相机坐标系中的三维点投影到像素平面，外参把不同传感器坐标系统一到自车坐标系。只有完成统一，VLM才能把“图像中左侧的红色卡车”与“点云中距离12米、速度8m/s的目标”关联为同一实体。

三、标定与数据同步：时空对齐的两条腿

标定解决“空间对齐”，同步解决“时间对齐”。空间标定包括内参标定和外参标定：内参标定常用棋盘格或圆点靶标，通过多视角图像求解焦距、主点和畸变；外参标定则通过共同观测目标（如标定板、地面特征、自然场景）估计相机与激光雷达、雷达与IMU之间的相对位姿。在线标定还会利用道路消失点、车道线等持续修正外参漂移。

时间同步分为硬同步和软同步。硬同步使用PPS脉冲或GPS秒脉冲触发传感器曝光，精度可达微秒级；软同步则基于时间戳插值，把不同频率的数据对齐到同一时刻。例如相机30Hz、激光雷达10Hz、IMU 100Hz，需要以某一主时钟为基准，对点云做运动畸变校正，对图像做时间戳匹配。若同步误差超过阈值，融合结果会出现“鬼影”或目标位置跳变。

四、BEV与Occupancy：统一的空间表示

BEV（Bird’s Eye View）把多传感器信息投影到自车周围的地面俯视栅格中，每个格子可携带语义类别、高度、速度等特征。它解决了透视图像中“近大远小”和遮挡带来的空间关系模糊问题，使VLM更容易推理车道拓扑、车辆相对位置和可行驶区域。BEV的常见生成方式包括：LSS将图像特征按深度分布抬升到3D再拍扁到BEV；BEVFormer用Transformer查询在BEV网格上聚合多相机特征；点云则直接体素化后投影到BEV。

Occupancy（占用栅格）进一步把空间划分为三维体素，每个体素标注是否被占用以及占用类别（车辆、行人、可行驶、未知等）。相比BEV只关注地面平面，Occupancy能表达悬空障碍物、隧道顶部、坡道和异形物体，是VLM进行三维场景推理的重要中间表示。BEV可视为Occupancy在高度维上的压缩特例，两者常配合使用：BEV负责高效语义布局，Occupancy负责精细几何与安全边界。

五、典型场景与常见误区

以城市路口为例：摄像头识别到红灯和行人，激光雷达检测到行人距离8米、位于车辆右前方，毫米波雷达给出行人径向速度接近0，IMU显示自车正在减速。经过标定和同步后，这些信息被映射到同一BEV栅格中，VLM可以推理出“行人正在等待过街，自车应继续减速直至停止”。若缺少Occupancy，悬空的交通信号灯或限高杆可能被忽略；若时间同步偏差过大，行人位置会在BEV中来回跳动，导致推理不稳定。

总结来看，传感器类型决定信息边界，坐标系决定空间基准，标定与同步决定时空对齐质量，BEV与Occupancy决定统一表示形式。这五者共同构成自动驾驶感知的基础设施，也是VLM多模态理解与场景推理能够成立的前提。只有把这条链路做扎实，后续的模型推理才不会建立在错误的空间与时间假设之上。