4. 协同推理的动机
视觉-语言-动作模型（VLA）在过去两年里迅速成为机器人通用策略的主流范式：它把摄像头图像、自然语言指令和机器人状态映射为动作序列，端到端地完成“看懂—理解—执行”。然而，当任务从“把桌上的杯子拿起来”升级为“先把抽屉拉开，取出工具，再关上抽屉并把工具放到架子上”时，纯 VLA 策略往往开始暴露短板。本节要回答的核心问题是：为什么一个已经能看、能说、能动的 VLA，仍然需要一个 World Model 来协同推理？
4.1 单模型局限：VLA 的四个结构性瓶颈
VLA 的本质是“反应式映射”。给定当前观测 o_t 和指令 l，它直接输出动作 a_t，中间缺少对“如果我这样做，世界会变成什么样”的显式推演。这种结构带来四类典型局限：
- 短视性（Myopia）：策略只对当前帧负责，缺乏多步后果评估，容易在长程任务中走一步看一步，最终陷入死胡同。
- 数据饥饿：每个新任务、新物体、新场景都需要大量示教数据，泛化依赖数据覆盖，而非对世界规律的理解。
- 不可预测性：面对遮挡、动态物体、接触力变化时，VLA 无法预判“推一下杯子会滑多远”“夹爪闭合会不会碰倒旁边的瓶子”。
- 错误不可恢复：一旦动作偏离，VLA 缺少“回到目标状态”的规划能力，往往在错误轨迹上继续放大偏差。
核心矛盾：VLA 学的是“观测到动作的映射”，而真实机器人任务需要的是“动作到未来状态的因果推演”。前者是函数拟合，后者是模型预测。
4.2 协同带来的泛化与规划优势
World Model 的作用，是在 VLA 之外补上一个“内部模拟器”：它学习环境的动态规律 p(s_{t+1} | s_t, a_t)，能够在潜空间或观测空间中预测动作带来的未来状态。当 VLA 与 World Model 协同推理时，系统从“直接出动作”升级为“先想象、再评估、后执行”。
这种协同带来三方面优势：
- 规划优势：World Model 可以展开多条候选动作序列，预测每条序列的未来轨迹，再由价值函数或目标匹配度选出最优路径。VLA 负责提供动作先验，World Model 负责多步推演，二者形成“提议—评估”闭环。
- 泛化优势：World Model 学的是物理规律与任务结构，而非特定场景的像素记忆。当物体位置、颜色、背景变化时，动态规律仍然成立，策略因此能迁移到未见过的布局。
- 样本效率优势：大量训练可以在 World Model 的“想象”中完成，减少真实机器人上的试错次数，降低数据采集成本与安全风险。
下面的信号链图展示了 VLA 与 World Model 协同推理的典型数据流：VLA 生成动作候选，World Model 预测未来状态，规划器评估并回传，最终输出动作。
4.3 典型失败案例分析
下面用一个真实工程中常见的失败场景，说明纯 VLA 与协同推理的差异。
| 阶段 | 纯 VLA 行为 | 协同推理行为 | 结果差异 |
|---|---|---|---|
| 任务开始 | 识别到“杯子”，直接抓取 | 预测抓取后杯子会碰倒旁边瓶子 | 协同避免碰撞 |
| 中途遮挡 | 目标被手挡住，策略输出抖动 | World Model 维持目标位置信念 | 协同保持稳定 |
| 接触滑动 | 夹爪闭合后杯子滑落，继续下压 | 预测滑落并调整夹持力与角度 | 协同成功抓取 |
| 长程任务 | 完成第一步后忘记后续目标 | 用未来状态对齐子目标序列 | 协同完成多步任务 |
常见误区：认为“World Model 只是用来生成训练数据”。实际上，在推理阶段，World Model 承担的是在线预测与规划评估，是策略闭环中不可替代的一环。把它仅当作离线数据增强工具，会浪费其最大的协同价值。
4.4 复盘：协同推理的工程要点
要让 VLA 与 World Model 真正协同，工程上需要关注以下几点：
- 接口对齐：VLA 输出的动作空间必须与 World Model 的输入动作空间一致，包括维度、归一化方式和时序粒度。
- 预测时域：World Model 的 rollout 长度要与任务子目标长度匹配，过短无法规划，过长误差累积。
- 不确定性建模：World Model 应输出预测方差，规划器据此决定“相信预测”还是“回退到 VLA 反应式策略”。
- 计算预算：在线 rollout 需要控制候选轨迹数量与深度，避免推理延迟超过机器人控制周期。
# 协同推理伪代码
obs = env.get_observation()
candidates = vla.propose_actions(obs, instruction, n=8)
best_action, best_score = None, -inf
for action_seq in candidates:
future = world_model.rollout(obs, action_seq, horizon=5)
score = planner.evaluate(future, goal)
if score > best_score:
best_action, best_score = action_seq[0], score
env.step(best_action)
总结来看，VLA 擅长“看懂并快速反应”，World Model 擅长“推演并评估后果”。二者协同，才让机器人从“会做动作”走向“会做计划”，从“见过才会”走向“理解就能泛化”。这也是本课程后续要反复展开的核心工程主线。