📚 课程目录第3章世界模型基础

3. 世界模型基础

在自动驾驶数据训练工程中，“世界模型”并不是一个单一算法，而是一类能够对环境进行内部表征、并预测未来状态演化的模型体系。它的核心价值在于：让系统不仅“看见当前”，还能“推演未来”，从而为决策、规划、数据生成和闭环仿真提供统一支撑。

一句话定义：世界模型是对环境动态规律的可学习压缩表示，给定当前状态与动作，能够预测下一时刻的状态、观测或奖励，并支持多步 rollout。

一、核心原理：从“感知”到“推演”

世界模型通常由三个关键能力构成：

表征（Representation）：把高维观测（图像、点云、BEV 特征）压缩为隐状态 z_t，保留对预测有用的信息。
动态（Dynamics）：学习状态转移 z_{t+1} = f(z_t, a_t)，即“动作如何改变世界”。
解码与预测（Decoding / Prediction）：从隐状态还原观测、语义、占用栅格或奖励，用于监督与规划。

在自动驾驶中，状态不仅包含自车位姿，还包含他车、行人、车道、交通灯等交互对象。因此世界模型往往采用时空联合建模：空间上编码场景结构，时间上捕捉因果演化。典型训练目标是重构损失、预测损失与对比损失的组合：

L = λ_rec · L_recon(o_t, ô_t)
  + λ_pred · L_pred(z_{t+1}, ẑ_{t+1})
  + λ_rew · L_reward(r_t, r̂_t)
  + λ_reg · L_KL(q(z|o) || p(z))

其中 λ 为各项权重，L_KL 用于约束隐空间分布，避免模型退化为简单记忆。

二、分类与发展脉络

世界模型可按“建模对象”和“学习方式”两个维度分类：

分类维度	类型	代表方法	自动驾驶适用场景
按状态空间	隐空间世界模型	Dreamer、PlaNet	策略学习、样本高效训练
按状态空间	显式场景世界模型	OccWorld、GAIA-1	占用预测、场景生成
按学习方式	基于重构	VAE、Autoencoder	表征预训练
按学习方式	基于预测	JEPA、DreamerV3	自监督动态学习
按交互方式	动作条件模型	World Models、MuZero	规划与决策
按交互方式	无动作预测模型	Video Diffusion	数据增广、仿真

发展脉络大致经历三个阶段：早期控制论与系统辨识（用线性模型描述动态）→ 深度隐空间模型（VAE + RNN，代表 World Models、PlaNet）→ 大模型与生成式世界模型（Transformer、Diffusion、视频预测，代表 GAIA-1、Sora 类方法）。在自动驾驶中，这一脉络正与 BEV、Occupancy、端到端规划快速融合。

三、与强化学习、仿真、生成模型的联系与区别

四者常被混用，但定位不同：

强化学习关注“如何做决策”，通过奖励信号优化策略；世界模型为 RL 提供可微、可 rollout 的环境代理，显著提升样本效率。
仿真关注“环境如何运行”，通常基于规则或物理引擎，可解释、可控，但难以覆盖真实世界的长尾交互。
生成模型关注“数据如何产生”，擅长合成图像、视频、点云，用于增广与场景生成，但不一定具备动作条件与因果动态。
世界模型介于三者之间：既学习动态，又支持动作条件预测，还能作为生成器产生未来观测，是“可学习的仿真器 + 可微的环境代理”。

关键区别：仿真由人写规则，世界模型由数据学规律；生成模型重“像”，世界模型重“变”；强化学习重“选”，世界模型重“推”。

四、案例与场景：自动驾驶中的世界模型落地

以城市路口场景为例，世界模型可这样参与训练闭环：

用 BEV + Occupancy 编码当前场景，得到隐状态 z_t。
输入自车规划动作 a_t（左转、直行、减速），预测未来 3 秒的占用栅格与他车轨迹。
将预测结果送入规划器评估碰撞风险与通行效率，形成奖励。
用预测误差与下游任务损失联合训练，持续提升动态建模精度。

在数据训练工程中，世界模型还可用于难例挖掘：对真实数据中稀少但危险的交互进行多步 rollout，生成大量近似真实的训练样本，缓解长尾分布问题。

五、常见误区与复盘

误区一：把世界模型等同于视频生成。视频生成只关注像素逼真，世界模型必须支持动作条件与状态转移。
误区二：认为世界模型可以完全替代仿真。真实闭环中，规则仿真仍承担安全边界与可解释验证。
误区三：只优化重构损失。若隐空间缺乏动态约束，模型会退化为“记忆帧”，多步预测迅速发散。

复盘建议：评估世界模型时，除重构指标外，应重点看多步预测误差、动作条件一致性、下游规划收益三项。只有把世界模型嵌入数据训练与闭环评估链路，它才真正从“论文概念”变成“工程能力”。