3. 世界模型核心概念
在自动驾驶闭环仿真中，“世界模型”并不是一个单一网络，而是一组围绕状态与观测协同工作的模块集合。理解它的关键，是把生成模型、隐空间、预测模型、状态转移、观测重建这五个概念放在同一条数据链路上看：真实世界产生观测，编码器把观测压入隐空间，预测模型在隐空间中推进状态，解码器再把隐状态还原为可感知的观测，最终交给仿真器与规划控制模块消费。
一、核心原理：从观测到隐状态，再回到观测
世界模型的基本假设是：高维观测（摄像头图像、激光点云）背后存在一个低维的隐状态，它足以解释当前场景并预测未来。生成模型负责学习观测的分布，隐空间提供紧凑的抽象表示，预测模型负责在隐空间中做时间推演，状态转移定义“当前隐状态 + 动作 → 下一隐状态”的演化规则，观测重建则把隐状态映射回图像或点云，使仿真结果可被下游感知模块使用。
这条链路中，动作 at是自车或他车的控制量（油门、转向、加速度）。没有动作输入，模型只能做无条件预测；有了动作，世界模型才具备“反事实推演”能力，这正是闭环仿真区别于回放式仿真的根本。
二、方法流程：五个模块如何协作
- 生成模型：学习观测数据的概率分布，常见形式包括 VAE、GAN、扩散模型。它决定“重建出来的画面像不像真的”。
- 隐空间：把高维观测压缩为低维向量 z。隐空间要满足两个条件：可预测（时间上平滑）和可解码（信息不丢失）。
- 预测模型：在隐空间中做前向推演，输入 (zt, at)，输出 zt+1。常用 RNN、Transformer 或状态空间模型。
- 状态转移：定义隐状态的演化方程。它可以是确定性的，也可以是概率性的（输出均值和方差）。
- 观测重建：解码器把 zt+1 还原为图像或点云，供下游感知模块使用。
训练时通常采用联合损失：重建损失保证观测保真，KL 或对比损失约束隐空间结构，预测损失保证多步推演不发散。三者权重需要平衡，否则容易出现“重建清晰但预测模糊”或“预测稳定但画面失真”的问题。
三、案例场景：一个路口左转的闭环推演
假设自车在路口准备左转，对向有直行车辆。世界模型接收当前观测 ot，编码得到 zt；规划模块给出动作 at（继续左转、减速等待）。预测模型推演 zt+1，解码器重建出“对向车继续直行、自车已进入路口”的画面。仿真器把该画面送入感知模块，感知输出目标框，规划再根据新观测调整动作。整个过程在隐空间中滚动，无需真实道路数据，即可测试左转博弈策略的安全性。
四、世界模型与仿真器的关系
| 维度 | 世界模型 | 仿真器 |
|---|---|---|
| 核心职责 | 学习并预测场景演化 | 提供物理、交通、传感器环境 |
| 状态表示 | 隐空间向量 z | 显式实体、位姿、地图 |
| 输出形式 | 重建观测 ô | 渲染图像 / 点云 / 真值 |
| 优势 | 数据驱动、泛化强、可反事实 | 可解释、可控、物理一致 |
| 典型组合 | 仿真器提供初始状态与动作接口，世界模型负责长时推演与观测生成，二者形成混合闭环 | |
实践中，世界模型常作为仿真器的“神经渲染与预测插件”：仿真器管理交通流和物理约束，世界模型接管感知级观测生成。这样既保留仿真器的可控性，又获得生成模型的真实感与泛化能力。
五、常见误区与复盘
误区二：隐空间越大越好。隐空间过大导致预测困难，过小则重建模糊，需要根据任务粒度权衡。
误区三：只评估单步重建。闭环仿真关注多步推演，必须评估 5 步、10 步后的状态一致性与碰撞率。
复盘时建议记录以下参数，便于定位问题：
latent_dim: 64
pred_horizon: 10
action_dim: 3 # 油门、转向、刹车
recon_loss: mse + perceptual
kl_weight: 0.001
rollout_steps: 50
collision_rate: 0.7%当 rollout_steps 增大而 collision_rate 快速上升，通常说明状态转移误差累积，需要引入多步训练或隐空间正则。理解这五个概念及其与仿真器的分工，是构建可信闭环仿真的第一步。