📚 课程目录第4章世界模型基础

4. 世界模型基础

在自动驾驶生成式场景工程中，世界模型并不是一个“更复杂的仿真器”这么简单。它要解决的核心问题是：让智能体在内部建立一个可推演、可预测、可规划的环境表征，从而在真实数据稀缺、长尾场景昂贵、闭环测试风险高的条件下，依然能够生成合理未来、评估策略后果并支撑决策。世界模型把“看见什么”与“接下来会发生什么”统一到一个可学习的动态系统中。

世界模型的最小闭环可以概括为：编码观测 → 推断隐状态 → 预测状态转移 → 解码观测或奖励 → 在隐空间规划/学习策略。它既服务于生成（预测未来画面、点云、占据栅格），也服务于决策（基于模型的强化学习）。

一、世界模型的定义与边界

世界模型（World Model）是对环境动态的压缩表征与可推演模型。给定历史观测 o≤t 与动作 a≤t，它学习一个隐状态 z_t，并建模：

状态转移：z_{t+1} ~ p(z_{t+1} | z_t, a_t)，描述环境如何随动作演化；
观测预测：o_{t+1} ~ p(o_{t+1} | z_{t+1})，把隐状态解码为可感知的未来；
奖励/代价预测：r_t ~ p(r_t | z_t, a_t)，为规划与策略学习提供目标信号。

需要区分三类容易混淆的对象：场景生成模型侧重采样逼真数据；仿真器侧重物理与规则执行；世界模型侧重可学习的动态预测与隐空间推演。三者可以互相嵌套，但世界模型的独特价值在于“可微分、可规划、可闭环”。

二、环境动态建模：从像素到隐状态

环境动态建模的关键是选择合适的状态表征。自动驾驶中常见表征包括：BEV 特征、占据栅格、矢量地图元素、智能体轨迹集合、隐向量。像素级预测信息丰富但冗余大；隐空间表征紧凑，适合长时推演与规划。

典型结构采用编码器-转移器-解码器：编码器把多帧观测压缩为 z_t；转移器根据动作预测 z_{t+1}；解码器重建观测、语义或占据。训练目标通常由重建损失、KL 正则、对比损失与奖励预测损失组成。

# 世界模型训练伪代码（简化）
for o_seq, a_seq, r_seq in loader:
    z = encoder(o_seq)                 # 编码历史观测
    z_hat = transition(z[:, :-1], a_seq[:, :-1])  # 预测下一隐状态
    o_rec = decoder(z_hat)             # 重建未来观测
    r_pred = reward_head(z_hat)        # 预测奖励/代价
    loss = recon_loss(o_rec, o_seq[:, 1:]) \
         + kl_loss(z_hat, z[:, 1:]) \
         + reward_loss(r_pred, r_seq[:, 1:])
    loss.backward()

三、状态转移与观测预测：推演未来的两条路径

状态转移回答“世界会怎么变”，观测预测回答“变化后看起来像什么”。在自动驾驶中，二者分别对应：轨迹/占据演化预测，以及图像、点云、BEV 的未来生成。若只做观测预测，容易得到视觉逼真但物理不一致的未来；若只做状态转移，则难以与真实传感器数据对齐。

因此工程上常采用联合建模：隐状态同时约束几何、语义与动态；观测预测作为辅助监督，提升表征的物理可解释性。评估时不能只看 FID、PSNR，还要看碰撞率、轨迹误差、占据 IoU 与闭环任务成功率。

四、隐空间规划与基于模型的强化学习

隐空间规划（Latent Planning）不直接在像素空间搜索，而是在低维隐状态中展开候选动作序列，预测未来隐状态与代价，再选择最优动作。基于模型的强化学习（MBRL）则用世界模型作为“想象环境”，生成虚拟 rollout 来训练策略，显著减少真实交互。

典型流程为：

用真实数据训练世界模型，使其能稳定推演多步未来；
在隐空间中采样动作序列，展开 H 步想象轨迹；
用预测奖励/代价评估轨迹，选择动作或更新策略；
把策略部署到真实环境，收集新数据回灌世界模型，形成迭代闭环。

隐空间规划的步长 H 越大，越能考虑长时后果，但模型误差会累积。工程上常用短步长滚动规划、模型集成、不确定性惩罚与多步一致性训练来抑制误差爆炸。

五、核心模块与职责对照

模块	输入	输出	关键指标
编码器	多帧图像/点云/BEV	隐状态 z_t	重建质量、表征紧凑度
状态转移器	z_t、动作 a_t	z_{t+1}	多步预测误差、一致性
观测解码器	z_{t+1}	未来观测/占据	IoU、FID、轨迹误差
奖励/代价头	z_t、a_t	r_t、碰撞代价	代价预测精度、闭环成功率
规划器/策略	隐空间 rollout	动作序列	任务成功率、舒适性、安全性

六、案例：交叉口左转的隐空间推演

以无保护左转为例，世界模型接收自车与对向车流的历史 BEV 与轨迹，编码为隐状态。规划器在隐空间中采样“等待、缓行、加速通过”三类动作序列，转移器推演未来 3 秒对向车辆位置与占据栅格，代价头预测碰撞风险与通行效率。若某序列预测出对向直行车 TTC 低于阈值，则被剪枝；最终选择既安全又高效的轨迹。整个过程不生成高保真图像，却完成了可解释的风险推演。

七、常见误区与复盘

误区一：把世界模型等同于视频预测。视频逼真不等于动态正确，必须联合状态与代价评估。
误区二：忽视误差累积。单步误差小，多步 rollout 可能发散，需一致性训练与不确定性建模。
误区三：隐空间不可解释。可通过探针、解码与可视化约束隐状态语义，避免“黑箱规划”。
误区四：只训练不闭环。世界模型必须与策略迭代、数据回灌结合，才能持续修正分布偏移。

在自动驾驶安全关键场景中，世界模型的预测不能直接作为唯一决策依据。应结合规则安全层、在线不确定性估计与冗余传感器校验，形成“模型推演 + 安全约束”的双层保障。

综上，世界模型为自动驾驶生成式场景工程提供了从感知到决策的“内部推演引擎”。掌握环境动态建模、状态转移、观测预测、隐空间规划与 MBRL 的协同关系，才能在长尾场景生成、闭环评测与策略迭代中形成可持续的工程闭环。