2. 自动驾驶基础
在进入 VLA(Vision-Language-Action)一体化模型之前,必须先建立对自动驾驶系统“底座”的清晰认知。VLA 并不是凭空运行的端到端黑盒,它依赖明确的自动化等级定义、稳定的传感器输入、统一的坐标与时间基准,以及可持续迭代的数据闭环。本节从这五个基础维度展开,为后续感知—决策—动作一体化打下工程地基。
一、SAE 分级:系统能力边界的标尺
SAE J3016 将驾驶自动化分为 L0 至 L5 六个等级,核心区分维度是动态驾驶任务(DDT)由谁执行、设计运行域(ODD)有多宽、以及是否需要人类接管。L0–L2 属于“辅助驾驶”,驾驶员始终是责任主体;L3 是分水岭,系统在 ODD 内可完成全部 DDT,但需在请求时接管;L4 在限定 ODD 内无需人类响应;L5 则无 ODD 限制。
对 VLA 而言,分级决定了模型输出的“动作”语义:L2 输出的是转向/油门建议,L3 以上输出的是完整轨迹或控制量,并需附带可解释的决策依据。因此同一套 VLA 架构在不同等级下,其动作头(Action Head)与安全兜底策略差异显著。
二、传感器配置:多模态输入的物理基础
典型自动驾驶传感器包括摄像头、激光雷达(LiDAR)、毫米波雷达、IMU/GNSS 与超声波。摄像头提供稠密语义,LiDAR 提供精确三维几何,毫米波雷达在雨雾中仍能测速测距,IMU/GNSS 提供全局位姿。VLA 的“Vision”分支通常融合前视、环视与 LiDAR BEV 特征。
| 传感器 | 主要输出 | 优势 | 典型局限 |
|---|---|---|---|
| 摄像头 | RGB 图像、语义 | 成本低、纹理丰富 | 受光照/逆光影响 |
| 激光雷达 | 点云、距离 | 三维精度高 | 雨雾衰减、成本高 |
| 毫米波雷达 | 距离、径向速度 | 全天候、测速准 | 角分辨率低 |
| IMU/GNSS | 位姿、速度 | 全局绝对参考 | 隧道/城市峡谷失锁 |
三、坐标系与时间同步:统一空间与时间基准
多传感器融合的前提是“同一时刻、同一空间”。坐标系通常包括:世界坐标系(ENU)、车体坐标系(后轴中心)、传感器坐标系(各安装位置)以及图像像素坐标系。标定给出外参(旋转+平移)与内参,融合时通过 TF 树逐级变换。
时间同步分为硬同步与软同步。硬同步用 PPS/GPRMC 触发传感器曝光,软同步用时间戳对齐并插值。若时间偏差超过阈值,高速场景下会产生米级位置误差。工程上常要求传感器间同步误差小于 10 ms。
# 典型时间同步检查日志
[cam_front] ts=1723456789.120
[lidar_top] ts=1723456789.108 delta=12ms WARN
[radar_fr] ts=1723456789.118 delta=2ms OK
[imu] ts=1723456789.119 delta=1ms OK
# 结论:lidar 与相机偏差 12ms,需重新触发或插值补偿
四、数据闭环:从车端到模型的迭代飞轮
数据闭环是自动驾驶持续进化的核心机制,典型链路为:车端采集 → 触发上传(影子模式/接管事件)→ 云端清洗与标注 → 训练与仿真 → 模型下发 OTA → 车端验证。VLA 模型尤其依赖高质量“场景—语言—动作”三元组数据。
五、典型系统架构与本节图解
主流架构分为模块化与端到端两类。模块化架构清晰但信息损失大;端到端(含 VLA)保留梯度通路,但可解释性与安全验证更难。下图展示从传感器到 VLA 一体化输出的完整信号链与数据闭环关系。
六、常见误区与复盘
误区二:忽视时间同步,先做融合再补同步。正确顺序是先保证时空基准,再做特征级融合。
误区三:把数据闭环等同于“多采数据”。闭环的关键是触发策略与场景覆盖,而非数据量堆砌。
复盘一个典型场景:城市路口左转时,相机因逆光丢失车道线,LiDAR 点云稀疏,若时间同步偏差 15 ms,融合后的目标位置会滞后约 0.3 m,导致 VLA 动作输出偏保守。解决路径是:重新标定外参、启用硬同步触发、在闭环中补充逆光路口场景并重新训练。这说明基础工程的质量,直接决定 VLA 模型的上限。