3. 世界模型核心概念

在自动驾驶仿真数据生成工程中，世界模型（World Model）是连接感知、预测与决策的核心抽象。它并不是一个单纯的神经网络，而是一套“压缩—推演—重建”的闭环系统：把高维观测压缩到潜在空间，在潜在空间中学习动力学演化，再依据任务需要生成未来观测或状态。理解世界模型，必须同时理解它与强化学习、模型预测控制的关系，以及潜在空间、动力学建模、观测生成三个关键机制。

一、世界模型的定义与最小闭环

世界模型可以定义为：对环境状态转移与观测生成过程的近似可学习模型。给定当前状态或观测，它能够预测下一时刻的状态、观测或奖励。一个最小可用的世界模型通常包含四个部分：编码器（Encoder）、动力学模型（Dynamics）、解码器（Decoder）与奖励/代价预测头。编码器把图像、点云或鸟瞰图压缩为潜在向量 z_t；动力学模型根据 z_t 与动作 a_t 推演 z_{t+1}；解码器把潜在状态还原为可解释的观测；奖励头则输出任务相关信号。

二、世界模型的分类

按建模对象与用途，世界模型可分为若干类型。理解分类有助于在仿真数据生成中选择合适架构，而不是盲目堆叠生成模型。

三、与强化学习、模型预测控制的关系

世界模型与强化学习（RL）的关系是“模型基 RL”的核心：智能体不再只依赖真实环境交互，而是在世界模型中想象 rollout，用想象轨迹训练策略。这大幅降低真实采样成本，但也引入模型偏差。世界模型与模型预测控制（MPC）的关系则更偏“预测器”：MPC 在滚动时域内优化控制序列，需要一个可快速推演的动力学模型。世界模型可以作为 MPC 的学习型预测模型，替代或补充物理模型。

• RL 视角：世界模型提供 p(s_{t+1}|s_t,a_t) 与奖励，支撑想象训练、值函数估计与探索。
• MPC 视角：世界模型提供多步预测，支撑代价评估、约束检查与滚动优化。
• 仿真数据生成视角：世界模型既是数据源，也是策略与规划器的测试床。

四、潜在空间、动力学建模与观测生成

潜在空间是世界模型的“压缩工作区”。它把高维观测映射为低维向量，使动力学推演在计算上可行。潜在空间的质量取决于两点：是否保留任务相关信息，是否具备良好的时序一致性。常见做法包括 VAE、VQ-VAE、对比学习与掩码自编码。

动力学建模负责在潜在空间中描述状态如何随动作变化。它可以是确定性 RNN/Transformer，也可以是随机潜变量模型。训练目标通常是多步预测一致性、重构损失与 KL 正则的组合。观测生成则把潜在状态解码为图像、点云或 BEV 特征，用于数据增广与可视化验证。

# 世界模型单步推演伪代码
z_t = encoder(obs_t)
z_next = dynamics(z_t, action_t)
obs_next = decoder(z_next)
reward = reward_head(z_next)

# 多步 rollout
for k in range(horizon):
    z_next = dynamics(z_next, action_next)
    obs_pred = decoder(z_next)

五、案例：交叉路口场景的潜在推演

以无保护左转为例，世界模型接收当前 BEV 观测与自车动作，在潜在空间中推演未来 3 秒。若推演显示对向直行车流保持稳定，则生成“安全左转”样本；若推演显示冲突概率上升，则生成“高风险交互”样本。这些样本可用于训练规划器的风险意识，也可用于仿真测试集的边界场景扩充。

六、常见误区与复盘

• 误区一：追求像素级逼真。仿真数据生成更关注任务相关性与多样性，过度逼真可能带来计算浪费。
• 误区二：忽视模型偏差累积。多步 rollout 误差会放大，需引入不确定性估计与短时域校正。
• 误区三：潜在空间不可解释。应通过探针、重构与可视化验证潜在维度是否编码了速度、距离等关键量。
• 误区四：把世界模型当纯生成器。它同时是预测器与决策支撑组件，需与 RL、MPC 联合评估。

综上，世界模型在自动驾驶仿真数据生成中扮演“可学习的环境模拟器”角色。它通过潜在空间压缩高维观测，通过动力学建模推演未来，通过观测生成产出可用数据，并与 RL、MPC 形成互补。掌握其定义、分类与三大机制，是后续构建数据生成流水线的基础。