📚 课程目录第3章世界模型核心概念

3. 世界模型核心概念

在规划决策工程中，世界模型（World Model）不是简单的“环境仿真器”，也不是一张静态地图。它更像智能体内部的一台“可推演引擎”：把当前观测压缩成隐状态，预测动作之后世界会怎样变化，并据此评估未来若干步的回报。理解世界模型，关键要抓住三个问题：它由什么组成、它如何被训练、它与模型预测控制（MPC）和基于模型的强化学习（MBRL）分别是什么关系。

一、世界模型的定义：从观测到可推演的未来

世界模型可以定义为：一个从历史观测与动作中学习得到的、能够预测未来观测、奖励和终止信号的内部模型。形式化地，给定时刻 t 的隐状态 z_t 和动作 a_t，世界模型输出下一时刻的隐状态、观测、奖励与继续标志：

z_t   = Encoder(o_≤t, a_<t)          # 表征编码
z_{t+1} = Dynamics(z_t, a_t)          # 隐空间动力学
o_{t+1} = Decoder(z_{t+1})            # 观测重建/预测
r_t     = RewardHead(z_t, a_t)        # 奖励预测
d_t     = ContinueHead(z_{t+1})       # 终止/继续预测

与“环境本身”不同，世界模型是智能体学到的近似，允许在隐空间中进行快速、低成本的想象推演。它的价值在于：真实环境交互昂贵、危险或缓慢，而世界模型可以在内部“试错”，把规划从真实采样转移到想象采样。

二、组成要素：五件套与两条通路

一个可用的世界模型通常包含五个核心部件，它们构成“编码—动力学—解码—奖励—终止”的闭环：

表征编码器（Encoder）：把高维观测（图像、点云、传感器序列）压缩为低维隐状态 z，保留对决策有用的信息。
隐空间动力学（Dynamics）：在隐空间中预测状态转移，是“想象”的核心，决定推演是否稳定、是否发散。
观测解码器（Decoder）：把隐状态还原为观测或观测特征，用于重建损失与可解释性检查。
奖励预测头（Reward Head）：预测即时奖励，使智能体能在想象中评估动作好坏。
终止预测头（Continue Head）：预测回合是否结束，避免在想象中无限推演。

两条通路同样重要：一条是学习通路，用真实交互数据训练上述五件套；另一条是推演通路，在隐空间中展开多步未来，供规划器或策略网络使用。若只有学习通路而没有推演通路，世界模型就退化为普通预测器；若只有推演而没有学习，则模型会迅速偏离真实分布。

三、与模型预测控制（MPC）的关系

MPC 是一种在线优化控制方法：在每个控制周期，基于当前状态和系统模型，预测未来 H 步的轨迹，求解带约束的最优动作序列，只执行第一步，然后滚动重复。世界模型与 MPC 的关系可以概括为“模型供给”与“决策消费”：

MPC 需要模型：传统 MPC 使用物理方程或辨识模型；在世界模型驱动的系统中，MPC 可以直接使用学到的隐空间动力学作为预测模型。
世界模型扩展了 MPC 的模型来源：当系统难以精确建模（如复杂接触、视觉伺服）时，世界模型提供了数据驱动的替代方案。
MPC 为世界模型提供使用范式：滚动时域、只执行第一步、带约束优化，这些思想可直接迁移到隐空间规划中。

需要注意的是，MPC 通常要求模型可微或可快速采样，而世界模型的隐空间动力学若不稳定，会导致 MPC 的预测轨迹发散。因此，训练世界模型时常用多步预测损失、KL 正则和梯度裁剪来保证长时推演稳定性。

四、与基于模型的强化学习（MBRL）的关系

MBRL 是一类强化学习范式：先学习环境模型，再用模型生成想象数据来训练策略或价值函数。世界模型是 MBRL 的核心组件，但两者并不等同：

维度	世界模型	基于模型的强化学习（MBRL）
定位	可学习的内部预测器	使用模型进行策略优化的学习范式
核心输出	隐状态、观测、奖励、终止预测	策略、价值函数或动作序列
典型用法	为规划/策略提供想象推演	在想象中训练策略，减少真实交互
关键风险	长时预测误差累积、表征坍塌	模型偏差被策略利用（model exploitation）
与 MPC 关系	可作为 MPC 的预测模型	可用 MPC 作为策略改进算子

简言之：世界模型回答“世界会怎样变”，MBRL 回答“策略该怎么学”，MPC 回答“当前这一步该怎么选”。三者可以组合成一条完整链路：世界模型提供预测，MPC 或策略优化在预测上做决策，MBRL 则用想象数据持续改进策略。

五、案例场景：自动驾驶路口决策

以自动驾驶路口左转为例。真实路口交互成本高、风险大，适合用世界模型做内部推演：

编码器把当前摄像头、雷达、地图信息压缩为隐状态 z_t。
动力学模型对“等待”“缓慢左转”“加速通过”三个候选动作分别展开 3 秒未来。
奖励头预测碰撞风险、通行效率、舒适度；终止头预测是否发生碰撞或到达目标。
MPC 在候选动作序列上求解带约束的最优解，只执行第一步；MBRL 则用这些想象轨迹更新策略网络。

世界模型不是“越准越好”，而是“对决策越有用越好”。在规划中，模型对关键风险事件的预测能力，往往比整体重建精度更重要。

六、常见误区与复盘

误区一：把世界模型等同于仿真器。仿真器通常由人工规则构建，世界模型由数据学习得到，二者可互补但不可混为一谈。

误区二：只关注单步预测精度。规划需要多步推演，单步误差会在 H 步内累积放大，必须用多步损失和稳定性约束。

误区三：忽视奖励与终止预测。没有奖励头，想象无法评估好坏；没有终止头，推演会越过回合边界，产生虚假乐观。

误区四：把 MBRL 当成世界模型的替代品。MBRL 是使用模型的范式，世界模型是其中的模型组件，二者是“范式—组件”关系。

复盘时可用三个问题检查世界模型是否真正服务于规划：第一，隐状态是否保留了决策关键信息；第二，多步推演是否稳定且与真实分布一致；第三，规划器或策略是否因使用该模型而获得更高的真实回报。只有三者同时成立，世界模型才从“预测器”升级为“决策引擎”。