3. 世界模型概述
在自动驾驶系统中，感知模块回答“现在有什么”，预测模块回答“接下来会发生什么”，而规划控制模块则决定“我该怎么做”。世界模型（World Model）正是连接这三者的关键中间层：它把高维、稀疏、带噪声的传感器观测，压缩成一个可推演、可采样、可评估的内部状态表示，并在此基础上预测未来若干时刻的环境演化。理解世界模型，是理解时空状态预测工程的前提。
3.1 世界模型的定义
世界模型可以形式化地理解为一个三元组：编码器把观测映射为隐状态，动力学模型在隐空间中推进状态，解码器/预测头把隐状态还原为可用的未来量。其核心思想是：不在原始像素或点云空间做昂贵推演，而是在一个低维、语义化、时序一致的隐空间中进行“想象”。
与传统的“逐帧检测+跟踪”不同，世界模型强调联合预测：自车动作、他车行为、环境几何在同一隐状态中耦合演化。这意味着它天然支持反事实推理——如果自车选择变道，周围车辆会如何反应？这种“可交互推演”能力，是端到端自动驾驶与安全验证的共同基础。
3.2 世界模型的分类
按建模对象与输出形式，自动驾驶中的世界模型大致可分为四类，它们在输入、输出与典型用途上差异明显。
| 类型 | 核心输入 | 主要输出 | 典型用途 |
|---|---|---|---|
| 隐空间动力学模型 | 多帧传感器特征 | 隐状态序列、重构观测 | 端到端策略学习、模型预测控制 |
| 占据栅格世界模型 | 点云/图像BEV特征 | 未来占据概率体素 | 避障、可行驶区域预测 |
| 智能体交互模型 | 轨迹历史+地图 | 多模态未来轨迹 | 交互式行为预测、博弈规划 |
| 神经渲染世界模型 | 相机图像+位姿 | 新视角合成、场景编辑 | 仿真回放、数据增强、闭环测试 |
四类模型并非互斥。工程中常见做法是以占据栅格或隐空间为骨干，叠加智能体轨迹头与神经渲染头，形成多任务世界模型。选择哪一类，取决于下游需要的是几何可解释性、交互多模态性还是视觉逼真度。
3.3 在自动驾驶中的作用
世界模型在自动驾驶栈中承担四项关键职能：
- 时序状态压缩与记忆：把历史观测压缩为隐状态，缓解遮挡与传感器噪声带来的瞬时误判。
- 多步未来推演：在隐空间滚动预测未来2～5秒，为规划提供前瞻性约束。
- 反事实与不确定性评估：通过多次采样生成不同未来分支，量化风险与置信度。
- 闭环仿真与数据生成：以神经渲染方式合成新视角与极端场景，支撑安全验证。
下图展示了世界模型在自动驾驶系统中的位置与信息流：感知特征进入编码器形成隐状态，动力学模型在自车动作条件下推进，预测头分别输出占据、轨迹与渲染结果，最终汇入规划与控制。
3.4 典型应用场景
世界模型的价值在具体场景中体现得最为清晰。以下是四个高频落地场景：
- 城市路口交互预测：在无保护左转场景中，世界模型同时推演对向直行车、行人、非机动车的多模态未来，帮助规划器选择安全间隙。
- 高速匝道汇入：以占据栅格预测未来3秒的可行驶区域，提前判断汇入窗口，避免急刹或强行并线。
- 遮挡区域风险推演：对公交站、大车后方等遮挡区域，世界模型生成“可能突然出现的行人”分支，提升防御性驾驶能力。
- 闭环仿真与回归测试：神经渲染世界模型可回放真实日志并合成新视角，用于端到端策略的离线评估与极端场景挖掘。
3.5 常见误区与复盘
在实际项目中，团队常陷入以下误区：
- 把世界模型等同于预测模块：预测模块只输出他车轨迹，而世界模型还需建模自车动作对环境的影响，二者范围不同。
- 追求像素级重构精度：隐空间模型的重构损失与下游规划性能并不强相关，过度优化重构可能损害动力学建模。
- 忽略不确定性校准：多模态输出若概率未校准，规划器会过度信任高概率分支，导致风险低估。
- 训练与推理时域不一致：训练时用完整未来监督，推理时只滚动几步，会造成误差累积与分布偏移。
# 世界模型推演伪代码（隐空间滚动）
z = encoder(obs_history) # 编码历史观测
for t in range(pred_horizon):
a = policy_or_action(t) # 自车动作条件
z = dynamics(z, a) # 隐状态推进
occ, traj, render = heads(z) # 多任务预测头
risk = calibrate(occ, traj) # 不确定性校准
复盘来看，世界模型的核心竞争力不在于“预测得多准”，而在于推演得是否可交互、可采样、可校准。只有把状态表示、动力学、预测头与下游规划形成闭环，世界模型才能真正从论文概念转化为量产系统中的安全增益。