4. 世界模型发展脉络
世界模型并不是一个新概念，它经历了从“显式状态估计”到“隐空间想象”，再到“可学习规划”和“大规模序列建模”的多次范式跃迁。理解这条脉络，有助于我们在规划决策工程中判断：什么时候该用卡尔曼滤波，什么时候该用Dreamer式想象，什么时候该用MuZero式隐式规划，以及Transformer世界模型适合解决哪类问题。
一、核心原理：三次范式跃迁
世界模型的核心任务始终是：给定当前观测与动作，预测下一时刻的状态与观测，并支持决策。但“状态”如何表示，决定了不同代际的方法差异。
- 经典状态空间模型：状态是显式的物理量，如位置、速度、角度。用线性高斯假设下的卡尔曼滤波或非线性扩展卡尔曼滤波进行递推。优点是物理可解释、计算稳定；缺点是对高维感知输入和复杂非线性动力学建模能力有限。
- 隐变量模型：状态不再直接对应物理量，而是由神经网络编码到隐空间。VAE、RNN、SSM等将观测压缩为隐状态，再在隐空间中做预测。优点是能处理图像、点云等高维输入；缺点是隐状态缺乏物理语义，长期预测容易漂移。
- 可学习规划世界模型：Dreamer在隐空间中直接训练策略与价值函数，通过“想象 rollout”优化行为；MuZero不重建观测，只学习隐状态下的动力学、奖励与价值，用MCTS在隐空间搜索。优点是端到端、样本效率高；缺点是训练稳定性与可解释性挑战更大。
- Transformer世界模型：把状态、动作、观测统一为token序列，用自注意力建模长程依赖。代表工作如IRIS、TransDreamer、Genie等，适合多模态、长时序、大规模预训练场景。
一句话总结演进逻辑：状态从“物理显式”走向“神经隐式”，规划从“显式搜索”走向“隐空间想象”，建模从“逐步递推”走向“序列注意力”。
二、方法流程：从PlaNet到Dreamer的隐空间想象
Dreamer系列是隐变量模型走向可学习规划的关键桥梁。其流程可以概括为四步：
- 编码：用CNN或ViT将观测 o_t 编码为隐状态 z_t，同时结合RNN或SSM维护确定性隐状态 h_t。
- 动力学预测：在隐空间中根据动作 a_t 预测下一隐状态 z_{t+1}，并重建观测与奖励。
- 想象rollout：在隐空间中展开多条轨迹，不与环境交互，仅用世界模型生成“想象经验”。
- 策略优化：用想象轨迹训练actor与critic，再回到真实环境执行，形成闭环。
# Dreamer训练循环伪代码
for each iteration:
# 1. 真实环境交互，收集经验
obs = env.reset()
for t in range(horizon):
z = encoder(obs)
a = actor(z)
obs, r, done = env.step(a)
buffer.add(z, a, r, obs)
# 2. 世界模型学习
for batch in buffer:
z_hat, r_hat, obs_hat = world_model(batch)
loss = recon_loss + reward_loss + kl_loss
loss.backward()
# 3. 隐空间想象，优化策略
z = buffer.sample_state()
for h in range(imagine_horizon):
a = actor(z)
z, r = world_model.imagine(z, a)
actor_loss += -r
critic_loss += (r + gamma * V(z) - V(z_prev))**2
MuZero则进一步放弃观测重建，只学习三个关键量：隐状态转移、奖励预测、价值预测。它用MCTS在隐空间搜索，不需要知道真实状态是什么，却能在Atari和围棋上达到超越人类的表现。这标志着世界模型从“重建世界”转向“只重建决策所需信息”。
三、案例/场景：自动驾驶中的世界模型选型
假设我们要为城市自动驾驶设计一个规划决策模块，不同代际的世界模型适用场景差异明显：
| 场景 | 推荐模型 | 理由 |
|---|---|---|
| 高速巡航、车道保持 | 经典状态空间 + MPC | 状态低维、动力学近似线性、可解释性要求高 |
| 城市路口、行人交互 | 隐变量模型 + 隐空间MPC | 感知高维、交互复杂，需要隐空间预测 |
| 端到端决策、样本稀缺 | Dreamer / MuZero | 样本效率高，可在想象中试错 |
| 多模态大模型预训练 | Transformer世界模型 | 统一token建模，支持长时序与多传感器融合 |
选型建议：不要盲目追求最新模型。如果状态维度低、物理模型清晰，经典方法往往更稳、更可验证；如果感知高维、交互复杂，再考虑隐变量或Dreamer式方法；如果数据规模大、多模态融合需求强，Transformer世界模型才真正发挥优势。
四、误区与复盘
误区一：隐空间一定比显式状态好。隐空间擅长压缩高维观测，但缺乏物理约束，长期预测容易产生“看起来合理但物理错误”的轨迹。在安全关键场景中，必须引入物理一致性损失或混合建模。
误区二：MuZero不需要世界模型。MuZero确实不重建观测，但它学习的是隐式动力学、奖励和价值，本质上仍是一个“为决策服务”的世界模型，只是省略了观测重建。
误区三：Transformer世界模型就是万能解。Transformer的注意力复杂度随序列长度平方增长，在实时控制场景中推理延迟可能无法满足要求。它更适合离线预训练、仿真环境或低频决策。
复盘要点：世界模型的演进不是简单替代关系，而是能力边界的扩展。经典方法提供可解释性与稳定性，隐变量方法提供感知压缩，Dreamer/MuZero提供样本高效规划，Transformer提供长程多模态建模。工程中应根据状态维度、数据规模、实时性要求和安全等级进行组合选型，而不是单点押注。
从卡尔曼滤波到Dreamer，再到MuZero与Transformer世界模型，这条脉络的核心线索是：状态表示越来越抽象，规划越来越依赖学习，建模目标越来越聚焦于决策本身。理解这一点，才能在规划决策工程中做出合理的技术选型与架构设计。