1. 课程导入

在具身智能与通用机器人快速演进的今天，单一模型已经很难同时胜任“看懂世界”和“做出动作”这两件事。视觉-语言-动作模型（Vision-Language-Action，VLA）擅长把图像、语言指令直接映射为动作序列，而世界模型（World Model）擅长在内部模拟环境演化、预测未来状态。把两者协同起来，就构成了本课程的核心命题：让机器人既能理解指令，又能在行动前“预演”后果。

本课程面向已经具备一定深度学习与机器人基础的工程师，目标是让你能够独立设计、训练并部署一套 VLA 与 World Model 协同的推理系统。学完本课程，你将掌握从数据采集、模型架构、协同推理调度，到真机部署与故障排查的完整工程链路。

一、核心概念：VLA、World Model 与协同推理

VLA 模型通常由视觉编码器、语言编码器和动作解码器组成，输入是当前观测与自然语言指令，输出是末端执行器位姿、关节角或离散动作 token。它的优势是端到端、语义泛化强，但缺点是“短视”——它往往只根据当前帧决策，缺乏对多步后果的显式建模。

World Model 则学习环境的动态规律：给定当前状态和动作，预测下一时刻的观测、奖励或潜在状态。它可以是像素级的视频预测模型，也可以是潜空间中的状态转移模型。World Model 的价值在于“想象”：在真正执行前，在内部 rollout 多条未来轨迹，评估哪条更安全、更高效。

协同推理的关键在于分工与耦合：VLA 负责高层语义理解与动作提议，World Model 负责低层后果预测与动作筛选。两者通过共享的潜在空间、动作候选集或价值评估函数连接。下面这张图展示了本节最核心的协同推理架构。

二、方法流程：协同推理的四个阶段

协同推理不是简单地把两个模型串起来，而是一个有明确阶段划分的工程流程。典型实现包含以下四个阶段：

1. 感知与编码阶段：VLA 的视觉编码器提取场景特征，语言编码器解析指令意图，输出一个融合后的任务嵌入向量。
2. 动作提议阶段：VLA 解码器生成 K 条候选动作序列，每条序列对应一个短时动作 chunk，例如未来 8 步的关节增量。
3. 想象与评估阶段：World Model 接收当前状态和每条候选动作，在潜空间中进行多步 rollout，预测每条轨迹的终态、碰撞概率和任务完成度。
4. 选择与执行阶段：调度器根据安全分数、效率分数和语义一致性加权，选出最优动作序列下发到控制器，同时把执行后的真实观测回传用于在线校正。

三、案例场景：从抓取到长程操作

以一个典型的桌面整理任务为例：指令是“把红色杯子放进托盘，避开蓝色积木”。VLA 首先识别出红色杯子和托盘的位置，生成若干抓取与放置的候选动作。World Model 对每条候选进行想象：如果直接横移，机械臂是否会碰到蓝色积木？如果先抬高再平移，虽然多花 0.5 秒，但碰撞概率从 0.3 降到 0.02。调度器综合评估后选择“抬高绕行”方案。

在更复杂的长程任务中，例如“打开抽屉取出工具再关上”，World Model 的价值更加明显。它可以在潜空间中模拟抽屉的开启角度、工具的可达性，以及关闭抽屉时手臂是否会被夹住。VLA 则负责把“取出工具”这样的高层语义拆解为可执行的子目标序列。两者交替工作，形成“提议—想象—选择—执行—再提议”的闭环。

四、误区与复盘：协同推理不是简单叠加

初学者最容易陷入的误区，是认为“VLA + World Model = 更强”。实际上，如果两个模型各自独立训练、接口不对齐，协同反而会引入新的误差源。常见问题包括：

• 潜空间不匹配：VLA 的动作 token 空间与 World Model 的状态空间没有共享语义，导致预测结果无法有效评估动作。
• 延迟叠加：VLA 推理 30ms，World Model rollout 80ms，调度器 10ms，总延迟超过控制周期，机器人动作出现抖动。
• 误差累积：World Model 在长 rollout 中预测偏差被放大，调度器却仍然信任其评分，导致选择错误动作。
• 训练目标割裂：VLA 用模仿学习，World Model 用自监督预测，两者没有联合微调，协同效果大打折扣。

# 协同推理延迟预算示例（单位：ms）
vla_encode:        12
vla_action_propose: 18
world_model_rollout: 45   # K=8, H=4
scheduler_score:    8
total:             83     # 控制周期 120ms，余量 37ms