3. World Model基础
在 VLA（Vision-Language-Action）与具身智能系统中，策略模型负责“看到什么就做什么”，而 World Model（世界模型）负责回答一个更根本的问题：如果我这样做，世界接下来会变成什么样？ 它是对环境动态的可学习、可推演的内部表征，让智能体能够在“脑内”预演未来，而不必每次都在真实世界中试错。对 VLA 协同推理而言，World Model 是连接感知、语言指令与动作后果的关键中间层。
一、核心原理：从观测到可推演的状态空间
World Model 的基本假设是：真实世界虽然高维复杂，但其演化规律可以被压缩到一个低维或结构化的状态空间中。智能体不需要记住每一个像素，只需要掌握“状态如何随动作转移”。典型流程如下：
- 观测编码：用 CNN、ViT 或 VAE 将图像/视频帧编码为隐状态
z_t。 - 动力学建模：用 RNN、Transformer 或扩散模型学习
p(z_{t+1} | z_t, a_t)，即状态转移分布。 - 奖励与终止预测：同时预测奖励
r_t和 episode 是否结束，用于规划。 - 想象 rollout：在隐空间中展开多步未来，供策略网络或规划器评估动作价值。
- 解码与校验：将隐状态解码为图像或语义，与真实观测对比以校正模型。
这一流程使 World Model 成为“可学习的仿真器”：策略可以在其中低成本地试错，再把学到的行为迁移回真实环境。
二、分类：三类主流世界模型
根据状态表示与生成方式的不同，World Model 大致可分为三类，它们在保真度、计算成本和可规划性上各有取舍。
| 类型 | 状态表示 | 典型方法 | 优势 | 局限 |
|---|---|---|---|---|
| 视频预测模型 | 像素/帧序列 | VideoGPT、Sora、Genie | 视觉保真高，直观可解释 | 计算昂贵，长时程误差累积 |
| 隐空间动力学模型 | 低维隐向量 | Dreamer、PlaNet、TD-MPC | 高效可规划，适合 RL | 隐状态语义不直观，解码有损 |
| 神经辐射场/3D 表征 | 3D 场景场 | NeRF、Gaussian Splatting | 几何一致，视角可控 | 动态建模难，训练与渲染成本高 |
三类模型并非互斥。工程中常见做法是：用隐空间动力学做快速规划，用视频预测做高层想象与可视化，用 3D 表征做空间一致性约束。
三、代表工作：Dreamer、Sora 与 Genie
Dreamer 是隐空间动力学路线的代表。它在隐空间中学习世界模型，并让策略完全在“想象”中训练。Dreamer 的关键在于：用循环状态空间模型（RSSM）同时建模确定性隐状态与随机隐状态，从而在长时程预测中保持稳定。它证明了“在梦中学习”可以迁移到真实控制任务，是 VLA 中低成本策略优化的经典范式。
Sora 代表视频预测路线。它用扩散 Transformer 在大规模视频上训练，能够根据文本或图像条件生成长时程、物理感较强的视频。对 World Model 而言，Sora 展示了“大规模视频生成即隐式世界模拟”的可能性：模型在生成过程中隐式学习了物体恒存、遮挡、运动惯性等规律。但其推理成本高，且缺乏显式动作接口，难以直接用于闭环控制。
Genie 则把视频预测与交互性结合。它从无标注视频中学习可交互的生成环境，能够根据用户输入的动作生成下一帧，形成“可玩”的虚拟世界。Genie 的价值在于：它把 World Model 从“被动预测”推进到“动作条件生成”，为具身智能提供了可交互的想象空间。
四、核心价值与工程场景
在 VLA 协同推理中，World Model 的价值主要体现在四个方面：
- 降低真实试错成本：策略先在想象中 rollout，再在真实环境执行，减少危险或昂贵操作。
- 支持长时程规划：通过多步预测评估动作序列，弥补单步策略的短视。
- 增强泛化与鲁棒性：在隐空间中组合已见动态，应对新指令与新场景。
- 提供反事实推理：回答“如果换一个动作会怎样”，支撑语言指令下的决策解释。
五、常见误区与复盘
误区二：忽视误差累积。多步 rollout 中，小误差会被放大，必须引入不确定性建模或短时程校正。
误区三：认为 World Model 可以完全替代真实环境。它只是加速器，最终仍需真实数据校准，否则会出现“模型幻觉”导致的策略崩溃。
复盘时建议检查三点：预测误差是否随步数快速上升；隐状态是否保留了任务关键信息；策略在想象与真实环境中的表现差距是否可控。只有这三点稳定，World Model 才能真正成为 VLA 协同推理的可靠“内部模拟器”。