4. 感知基础
VLA（Vision-Language-Action）模型要做出可解释、可执行的驾驶决策，前提是获得一份“机器可读”的世界表示。相机、激光雷达、毫米波雷达是三类互补的原始传感器，它们输出的数据形态、坐标系、噪声特性各不相同。感知基础的核心任务，就是把这些异构数据统一到同一时空框架下，形成 BEV、Occupancy、目标轨迹等结构化表示，供后续的语言推理与动作生成使用。
一、三类传感器的数据表示与互补性
相机输出的是二维像素阵列，每个像素携带 RGB 或 YUV 强度信息，具有极高的角分辨率与语义丰富度，但缺少直接深度，且受光照、雨雾影响大。激光雷达输出的是三维点云，每个点包含 x、y、z 坐标与反射强度，测距精度可达厘米级，但点云稀疏、无纹理，远距离与恶劣天气下回波衰减明显。毫米波雷达输出的是距离、方位角、径向速度与 RCS（雷达截面积），对运动目标的速度测量极为敏感，穿透雨雾能力强，但角分辨率低、点云稀疏且易产生多径鬼影。
三者的互补关系可以概括为：相机提供“是什么”，激光雷达提供“在哪里、多远”，毫米波雷达提供“动得多快”。在 VLA 系统中，它们并非简单叠加，而是通过时间同步、外参标定与空间对齐，投影到统一的 BEV 网格或体素空间中。
二、BEV：把异构数据压到同一张俯视图
BEV（Bird's Eye View）表示将传感器数据投影到自车正上方的俯视平面，通常以自车为中心，覆盖前向 100～150 米、侧向 50～80 米的范围，栅格分辨率取 0.1～0.5 米。每个栅格可以携带多个通道：语义类别、高度统计、速度、可见性等。BEV 的最大价值在于“统一”——相机、激光雷达、毫米波雷达的观测都被映射到同一张图上，后续网络无需再关心原始模态差异。
从相机生成 BEV 的典型路径是：图像骨干网络提取特征 → 通过深度估计或 Transformer 查询（如 BEVFormer 的 spatial cross-attention）将 2D 特征提升到 3D → 沿高度维压缩得到 BEV 特征。激光雷达则直接对点云做体素化或 pillar 化，再沿高度维池化。毫米波雷达点迹可直接投影到 BEV 栅格，作为速度通道的补充。
范围：X ∈ [-50m, 150m]，Y ∈ [-80m, 80m]
分辨率：0.2m × 0.2m → 栅格数 1000 × 800
通道：语义(10类) + 高度(1) + 速度(2) + 可见性(1) = 14 通道
三、Occupancy：从“框”到“体素”的表示升级
传统目标检测用 3D 边界框描述物体，但现实世界存在大量不规则障碍物：施工锥桶、散落货物、异形车辆、悬挂物。边界框要么包不住，要么包得过大。Occupancy（占据栅格）把空间划分为 3D 体素，每个体素输出“空闲 / 占据 / 未知”三态概率，能够精细表达任意形状的障碍物边界。
Occupancy 网络通常以多帧点云与图像特征为输入，输出体素级语义与占据概率。在 VLA 系统中，Occupancy 提供了比 BEV 更完整的三维空间约束，尤其适合处理低矮障碍、悬空障碍与可通行区域判断。其代价是计算量与存储量显著增加，因此工程上常采用稀疏卷积、粗粒度体素（如 0.4m）与局部精细化的折中方案。
四、目标检测与跟踪：从单帧到轨迹
目标检测负责在单帧中给出 3D 框与类别，跟踪则负责跨帧关联同一目标，输出带 ID 的轨迹。常用流程如下：
- 检测：基于 BEV 特征或点云，回归 3D 框参数 (x, y, z, l, w, h, θ) 与类别置信度。
- 预测：用卡尔曼滤波或运动模型预测下一帧各轨迹的位置与速度。
- 关联：用匈牙利算法或 IoU/中心距离匹配检测框与预测轨迹。
- 更新：匹配成功则更新轨迹状态，未匹配则新建或删除轨迹。
跟踪输出的轨迹包含 ID、位置、速度、朝向与历史路径，是行为预测与 VLA 交互推理的关键输入。毫米波雷达的径向速度可以直接注入跟踪器，显著提升速度估计的稳定性。
五、方法流程与关键参数对照
| 表示形式 | 数据形态 | 典型分辨率/粒度 | 主要优势 | 主要局限 |
|---|---|---|---|---|
| BEV | 2D 栅格多通道 | 0.1～0.5 m/格 | 统一多模态、规划友好 | 高度信息被压缩 |
| Occupancy | 3D 体素概率 | 0.2～0.8 m/体素 | 表达不规则障碍、可通行性 | 计算与存储开销大 |
| 3D 检测框 | 框参数 + 类别 | 逐目标 | 紧凑、易跟踪 | 难描述异形物体 |
| 跟踪轨迹 | ID + 时序状态 | 逐目标逐帧 | 提供速度与意图线索 | 依赖检测稳定性 |
六、典型场景与工程误区
以城市路口右转为例：相机识别到行人、激光雷达给出精确距离、毫米波雷达给出行人横向速度，BEV 融合后得到行人占据栅格与运动轨迹，Occupancy 进一步判断路缘石与绿化带的可通行边界，跟踪模块输出行人 ID 与预测路径。VLA 模型据此生成“减速让行”的语言推理与动作指令。
1. 只做空间对齐而忽略时间同步，高速场景下 50ms 延迟可造成 1 米以上位置误差。
2. 把 BEV 当作万能表示，忽略高度维信息，导致悬空障碍与低矮障碍漏检。
3. 跟踪器只依赖检测框 IoU，在遮挡场景下频繁 ID 切换，破坏轨迹连续性。
4. 毫米波雷达鬼影未过滤，直接注入 BEV 速度通道，造成虚假运动目标。
综上，相机、激光雷达、毫米波雷达的数据表示各有侧重，BEV 提供统一俯视表达，Occupancy 提供精细三维占据，目标检测与跟踪提供带 ID 的时序轨迹。四者共同构成 VLA 感知决策动作一体化系统的结构化输入基础。