3. VLA范式解析
在自动驾驶系统从“感知—预测—规划—控制”的模块化流水线，向端到端一体化模型演进的过程中，VLA（Vision-Language-Action，视觉—语言—动作）成为近两年最受关注的技术范式之一。它试图把摄像头图像、自然语言指令与车辆控制动作统一到同一个大模型中，让“看懂场景、理解意图、输出动作”在一次前向推理中完成。本节将从概念、多模态大模型基础以及与传统模块化方案的对比三个层面，系统解析VLA范式。
一、VLA的核心概念
VLA模型是一类以多模态大模型为骨干、以动作输出为最终目标的模型。它的输入通常包括：多路摄像头图像（Vision）、导航或用户语言指令（Language），输出则是未来一段时间内的轨迹点、控制量或离散动作token（Action）。与传统端到端模型相比，VLA的关键区别在于它显式引入了“语言”这一模态，使模型具备语义理解、常识推理和指令泛化的能力。
例如，当乘客说“前面路口右转，注意行人”时，VLA模型不仅要识别路口和行人，还要把“右转”“注意”这类语言意图映射为具体的减速、转向动作。这种“语言—动作”对齐能力，是VLA区别于纯视觉端到端模型的核心特征。
二、多模态大模型基础
VLA的底座是多模态大模型（Multimodal Large Language Model, MLLM）。其典型结构包含三个部分：视觉编码器、模态对齐投影层、语言模型骨干。视觉编码器（如ViT、SigLIP）把图像切分为patch并提取特征；投影层（如MLP、Q-Former）把视觉特征映射到语言模型的词嵌入空间；语言模型骨干（如LLaMA、Qwen）则负责跨模态推理与生成。
在训练流程上，多模态大模型通常经历三个阶段：
- 视觉—语言预训练：用大规模图文对进行对比学习或生成式预训练，建立视觉与语言的初步对齐。
- 指令微调：用图文指令数据训练模型理解“看图回答问题”的能力。
- 动作微调：在自动驾驶场景中，把轨迹或控制量编码为动作token，与视觉、语言token一起训练，使模型学会“看图+听指令→出动作”。
下面是一个简化的VLA训练配置示例，展示了动作token与视觉、语言token的拼接方式：
# VLA 训练样本构造（伪代码）
sample = {
"images": [cam_front, cam_left, cam_right, cam_rear],
"instruction": "在下一个路口右转，保持安全车距",
"action_tokens": [a1, a2, a3, ..., aT], # 未来T步轨迹token
"loss_mask": [0]*len(vision_tokens) + [0]*len(lang_tokens) + [1]*len(action_tokens)
}
# 仅对动作token计算损失，视觉与语言token作为条件输入
loss = cross_entropy(logits[action_mask], action_tokens)
这种设计让模型在推理时能够以视觉和语言为条件，自回归地生成动作序列。动作token可以是离散化的轨迹点，也可以是连续控制量的量化表示。
三、VLA与传统模块化方案的对比
传统模块化方案将自动驾驶拆分为感知、预测、规划、控制四个独立模块，每个模块有明确的输入输出接口和评价指标。VLA则把这些环节压缩进一个统一模型。两者在信息流、误差传播、泛化能力上存在显著差异。
| 对比维度 | 传统模块化方案 | VLA一体化方案 |
|---|---|---|
| 系统结构 | 感知→预测→规划→控制，串行流水线 | 视觉+语言→动作，单模型端到端 |
| 信息传递 | 模块间传递结构化中间结果，信息有损 | 共享隐空间表征，信息保留更完整 |
| 误差传播 | 上游误差逐级放大，难以回溯 | 全局联合优化，误差可端到端反传 |
| 语言理解 | 通常不支持自然语言指令 | 原生支持语言指令与常识推理 |
| 泛化能力 | 依赖规则与标注，长尾场景弱 | 借助大模型预训练，泛化潜力更强 |
| 可解释性 | 模块边界清晰，便于调试与认证 | 黑盒程度高，可解释性挑战大 |
| 数据需求 | 各模块独立标注，数据成本高 | 需要大规模驾驶视频与指令数据 |
| 实时性 | 模块可独立优化，延迟可控 | 大模型推理开销大，需蒸馏加速 |
从表中可以看出，VLA的优势在于信息保留完整、支持语言交互、泛化潜力强；劣势在于可解释性弱、数据与算力需求高、实时性挑战大。因此，当前产业界更多采用“VLA+模块化兜底”的混合架构，在保证安全冗余的前提下逐步引入VLA能力。
四、典型场景与误区复盘
以一个城市路口右转场景为例：传统方案中，感知模块输出行人框和车道线，预测模块估计行人轨迹，规划模块生成右转路径，控制模块跟踪路径。任一环节出错都可能导致急刹或碰撞。VLA方案则直接输入多路图像和“右转注意行人”指令，输出减速右转的轨迹。模型在训练中见过大量类似场景后，能够把“注意行人”这一语言先验与视觉中的行人位置联合推理，从而更平滑地完成避让。
常见误区二：把VLA等同于“端到端”。VLA强调语言模态的引入，而端到端不一定包含语言；两者是交叉但不重合的概念。
常见误区三：忽视动作token的设计。动作离散化粒度、时间跨度、是否包含控制量，直接决定模型输出是否可执行。
总体而言，VLA范式代表了自动驾驶从“分而治之”走向“统一表征”的重要方向。理解其多模态大模型基础、训练流程以及与模块化方案的差异，是后续学习VLA工程落地的前提。