📚 课程目录第2章 VLA基础

2. VLA基础

视觉-语言-动作模型（Vision-Language-Action Model，简称 VLA）是一类把图像观测、自然语言指令与机器人动作统一到同一序列建模框架中的具身智能模型。它的核心目标不是“看懂图片”或“回答问题”，而是把感知与语言直接映射为可执行的动作序列，让机器人能够在开放环境中完成“把红色积木放到蓝色盒子左侧”这类需要语义理解与物理操作协同的任务。

一句话定义：VLA 是以视觉与语言为输入、以动作 token 或动作块为输出，通过大规模跨模态预训练获得泛化操作能力的端到端策略模型。

一、核心原理：从“感知—规划—控制”到统一序列建模

传统机器人系统通常采用分层结构：视觉模块负责检测与位姿估计，语言模块负责解析指令，任务规划器生成子目标，运动规划器与控制器执行轨迹。这种流水线可解释性强，但模块间接口由人工定义，误差逐级累积，且难以利用互联网规模的图文数据。VLA 的关键转变在于把动作视为一种“语言”：将连续动作离散化为动作 token，与图像 patch token、文本 token 拼接成统一序列，交给 Transformer 自回归或扩散式解码。这样，视觉-语言预训练中获得的语义先验可以直接迁移到动作生成，实现端到端可微训练。

其典型训练目标可写为：给定观测 o_t 与指令 l，最大化动作序列 a_{t:t+H} 的似然：

L = - Σ log P(a_{t+k} | o_t, l, a_{t:t+k-1}; θ)

其中：
  o_t     当前视觉观测（RGB / 深度 / 多视角）
  l       自然语言指令
  a       离散化动作 token 或连续动作块
  θ       视觉-语言主干与动作头的联合参数

推理时，模型可以自回归逐 token 输出动作，也可以一次预测一个动作块（action chunk），再由底层控制器插值执行。动作块预测显著降低推理频率，是当前实时 VLA 的主流做法。

二、发展脉络：从单任务模仿到跨本体通用策略

VLA 的演进大致经历四个阶段。第一阶段是行为克隆与单任务策略，模型只针对固定任务与固定本体训练，泛化能力弱。第二阶段是语言条件模仿学习，如 CLIPort、BC-Z 等，用语言嵌入调制视觉特征，开始支持多任务。第三阶段是大规模视觉-语言模型直接微调为策略，代表是 RT-1、RT-2 与 PaLM-E：RT-1 用 13 万条机器人演示验证了 Transformer 策略的规模效应；RT-2 把动作表示为文本 token，与 PaLM-E 的具身多模态思路结合，使互联网图文知识可迁移到操作任务；PaLM-E 则把连续传感器观测注入语言模型，展示了具身问答与规划能力。第四阶段是开源与跨本体通用策略，如 Octo、OpenVLA、π0 等，通过多机器人数据混合训练与统一动作空间，让同一模型适配不同机械臂与夹爪。

三、典型架构对比：RT-2、PaLM-E 与 Octo

三者代表了 VLA 的三条技术路线：RT-2 强调“动作即语言”的端到端 token 化；PaLM-E 强调“感知注入语言模型”的具身多模态大模型；Octo 强调“开源、跨本体、可微调”的通用策略。下表从输入输出、主干、动作表示与适用场景进行对比。

模型	主干	动作表示	训练数据	典型能力	主要局限
RT-2	PaLI-X / PaLM-E 视觉语言模型	动作离散为文本 token	互联网图文 + 机器人演示	语义泛化、指令跟随	推理频率低、闭源
PaLM-E	PaLM + 连续观测编码器	高层规划 / 子目标	图文、具身问答、机器人数据	具身推理、长程规划	不直接输出底层动作
Octo	Transformer + 扩散动作头	连续动作块	Open X-Embodiment 多本体数据	跨本体微调、开源可复现	语义先验弱于超大 VLM

从工程视角看，RT-2 类模型适合语义复杂度高、动作频率要求不极端的场景；PaLM-E 类模型更适合作为高层任务规划器，与底层 VLA 或运动规划器级联；Octo 类模型则适合需要快速微调、部署在自有硬件上的团队。

四、关键能力边界：VLA 能做什么、不能做什么

VLA 的优势集中在语义泛化与指令跟随：面对训练中未出现的物体、颜色、空间关系组合，模型仍能借助视觉-语言先验做出合理动作。但它存在明确边界。第一，数据覆盖决定能力上限，长程多阶段任务、精密装配、高动态操作仍依赖高质量演示数据。第二，动作频率与推理延迟矛盾突出，大模型自回归解码难以满足 100 Hz 以上控制需求，通常需要动作块与底层控制器配合。第三，跨本体迁移仍受动作空间、相机标定与动力学差异影响，同一模型换硬件后往往需要少量微调。第四，安全性与可解释性不足，端到端策略难以给出失败原因，工业场景需外挂安全监控与回退策略。

常见误区：把 VLA 当作“万能策略”直接部署到产线。实际上 VLA 更适合作为高层语义决策与中低频操作策略，精密力控、高速伺服等环节仍应由专用控制器承担。另一个误区是忽视动作空间设计：动作 token 的离散化粒度、坐标系定义与归一化方式，往往比主干模型规模更影响实际成功率。

五、工程落地要点与复盘清单

在真实项目中引入 VLA，建议按以下顺序推进：先明确任务边界与动作频率，再选择架构路线；随后统一数据格式与动作空间，完成小规模微调验证；最后接入安全监控与回退逻辑。以下清单可用于方案评审。

任务层：指令是否可语言化？是否存在长程依赖？失败代价是否可接受？
数据层：演示数据是否覆盖目标物体、光照、背景与本体？动作标注是否对齐？
模型层：选择 RT-2 类语义优先、PaLM-E 类规划优先，还是 Octo 类部署优先？
控制层：动作块长度、推理频率与底层控制器是否匹配？是否设置速度与力矩限幅？
安全层：是否有独立于策略的碰撞检测、急停与人工接管通道？

理解 VLA 的定义、脉络、架构与边界，是后续讨论其与 World Model 协同推理的前提：VLA 负责把语义意图转化为动作，World Model 负责预测动作后果与未来状态，两者结合才能支撑更长程、更可靠的具身决策。