4. 世界模型核心架构
世界模型之所以能“在脑内预演未来”，依赖的不是单一网络，而是一条从感知到预测再到重建的完整链路。理解这条链路，是后续做评测指标设计、失效归因和安全验证的前提。本章把世界模型拆成五个可独立审视、又必须协同工作的部件：编码器负责把高维观测压缩成隐空间表示，动力学模型负责在隐空间中推演状态演化，解码器负责把隐状态还原为可观测的预测，序列建模负责维持时间一致性，多模态融合负责把相机、激光雷达、毫米波雷达、IMU、地图等异构输入对齐到同一表征空间。
一、核心原理：五部件分工与数据流
从工程视角看，世界模型可以形式化为一个隐状态序列模型。设 t 时刻的多模态观测为 o_t，编码器 E 输出隐表示 z_t = E(o_t)；动力学模型 f 依据历史隐状态与动作 a_t 预测下一隐状态 z_{t+1} = f(z_t, a_t)；解码器 D 将隐状态映射回观测空间 ô_{t+1} = D(z_{t+1})。序列建模模块则把单步预测串成轨迹，多模态融合模块在编码前后完成特征对齐。
关键点在于：隐空间不是装饰，而是压缩与抽象的核心。它决定了模型能保留哪些信息、丢弃哪些噪声。隐空间过窄会丢失小目标与细粒度运动，过宽则让动力学学习变得困难、易过拟合。评测时，隐空间维度、连续性、可分性都是可量化对象。
二、方法流程：从观测到预测的六步链路
- 多模态预处理与时间同步：将不同频率、不同坐标系的传感器数据对齐到统一时间戳与自车坐标系，处理丢帧与延迟。
- 编码与融合：各模态分别编码后，通过注意力、拼接或对比学习融合为统一隐表示。融合时机决定信息保留程度。
- 隐空间约束：通过 KL 散度、对比损失、重构损失等约束隐空间结构，使其既紧凑又可预测。
- 动力学推演：在隐空间中按动作条件滚动预测，输出未来若干步隐状态序列。
- 解码与重建：将隐状态解码为未来图像、BEV 占据栅格、轨迹或语义分割，供下游规划与验证使用。
- 误差评估与回灌：对比预测与真实观测，计算重建误差、预测误差与一致性指标，定位失效环节。
三、案例场景：城市路口的多模态预测
以城市无保护左转路口为例。相机提供语义与纹理，激光雷达提供精确几何与距离，毫米波雷达提供速度与穿透能力，IMU 与轮速提供自车运动，高精地图提供车道拓扑。编码器需要把这些异构输入映射到同一隐空间；动力学模型需要预测对向直行车、横穿行人与自车左转动作的交互演化；解码器输出未来 3 秒的 BEV 占据与目标轨迹。
若隐空间只保留外观特征而丢失速度信息，动力学模型会低估对向车接近速度，导致预测轨迹过于乐观。若序列建模窗口过短，模型无法捕捉行人“犹豫—起步”的长时意图，预测会在关键时刻跳变。若多模态融合只在晚期拼接，激光雷达的几何优势可能被图像语义淹没。这些都是评测中必须显式覆盖的场景。
四、误区与复盘：常见架构陷阱
| 误区 | 表现 | 后果 | 复盘建议 |
|---|---|---|---|
| 隐空间过大 | 重构极好但预测发散 | 动力学难学，长时预测崩溃 | 加入 KL 或对比约束，做维度消融 |
| 融合时机单一 | 某模态主导，其他被忽略 | 恶劣天气或遮挡下鲁棒性差 | 对比早期/中期/晚期融合方案 |
| 序列窗口过短 | 意图预测跳变 | 交互场景误判 | 测试不同历史长度与长时依赖 |
| 解码目标单一 | 只评图像重建 | 忽略几何与运动误差 | 增加 BEV、轨迹、占据等多任务解码 |
| 训练与评测分布不一致 | 离线指标好，闭环失效 | 安全验证结论不可信 | 引入闭环滚动评测与分布偏移测试 |
五、参数与配置示例
以下是一组典型世界模型训练配置片段，用于说明各部件参数如何影响评测重点：
model:
encoder:
modality: [camera, lidar, radar, imu, map]
fusion: mid # early | mid | late
latent_dim: 256
dynamics:
type: transformer
history: 8 # 历史帧数
horizon: 12 # 预测步数
action_cond: true
decoder:
heads: [rgb, bev_occ, traj, seg]
sequence:
window: 16
stride: 2
loss:
recon: 1.0
kl: 0.001
contrastive: 0.1
traj: 0.5
评测时，latent_dim 决定隐空间容量，history 与 horizon 决定时序难度，fusion 决定多模态信息保留方式，heads 决定可验证的输出维度。把这些参数与指标联动分析，才能判断架构改动是否真正提升安全相关能力。
六、小结：架构即评测对象
编码器、动力学模型、解码器、隐空间、序列建模与多模态融合不是孤立模块，而是一条可拆解、可归因、可验证的链路。做世界模型评测时，应把每个部件都视为潜在失效点：隐空间是否保留关键信息，动力学是否在长时推演中稳定，解码是否覆盖几何与运动，序列建模是否维持一致性，多模态融合是否在退化条件下仍可靠。只有把架构理解透，后续的指标设计、场景构造与安全验证才有坚实依据。