📚 课程目录第3章 World Model核心概念

3. World Model核心概念

在自动驾驶中，世界模型（World Model）不是简单地“预测下一帧图像”，而是要在内部建立一个可推演、可规划、可评估的环境抽象。它把高维传感器观测压缩成状态，用动力学模型推演未来，用观测模型还原可感知的结果，再用奖励模型判断“这样开好不好”。本节围绕六个核心概念展开：状态表示、隐空间、动力学模型、观测模型、奖励模型与想象 rollout。

核心链路可以概括为：观测 → 编码 → 隐状态 → 动力学推演 → 想象 rollout → 解码观测 / 预测奖励 → 规划与控制。理解这条链路，就理解了 World Model 的基本工作原理。

一、状态表示与隐空间：把世界压缩成可推演的向量

状态表示（State Representation）是对自车、道路、交通参与者、信号灯、可行驶区域等要素的紧凑描述。它可以是显式的（位置、速度、航向角、车道线参数），也可以是隐式的（神经网络编码出的高维向量）。隐空间（Latent Space）则是通过编码器把原始观测映射到一个低维、稠密、连续的向量空间，使相似场景在空间中彼此靠近，便于推演和泛化。

隐空间的关键性质包括：紧凑性（用远小于图像的维度表达场景）、连续性（相近状态对应相近向量，便于插值与优化）、可解耦性（不同维度可对应不同物理因素，如速度、距离、意图）。在自动驾驶中，隐状态通常还会加入时序信息，形成 z_t 的递归表示，使模型具备记忆能力。

二、动力学模型、观测模型与奖励模型：三根支柱

动力学模型（Dynamics Model）描述状态如何随时间演化：给定当前隐状态 z_t 和动作 a_t，预测下一时刻隐状态 z_{t+1}。它是“想象”的发动机，决定了模型能否在内部推演多步未来。观测模型（Observation Model）则把隐状态解码为可观测的传感器数据或语义结果，例如预测未来图像、BEV 占据栅格、目标框或车道线。奖励模型（Reward Model）对状态和动作打分，衡量安全性、舒适性、效率与合规性，为规划提供优化目标。

三者关系可以这样理解：动力学模型负责“世界怎么变”，观测模型负责“变了之后看起来是什么样”，奖励模型负责“变成这样好不好”。缺少任何一个，世界模型都难以支撑闭环决策。

三、想象 rollout：在“脑内”推演未来

想象 rollout（Imagination Rollout）是指在隐空间中，从当前状态出发，给定一系列候选动作，利用动力学模型逐步推演未来状态序列，并用观测模型和奖励模型评估每一步结果。它相当于让自动驾驶系统在“脑内”试驾多条轨迹，再选择最优动作执行。

一个典型的 rollout 过程如下：

输入：当前隐状态 z_0，候选动作序列 [a_0, a_1, ..., a_H-1]
for t in 0..H-1:
    z_{t+1} = Dynamics(z_t, a_t)        # 动力学推演
    o_{t+1} = Observation(z_{t+1})      # 解码观测
    r_t     = Reward(z_t, a_t)          # 奖励打分
累计回报 R = Σ γ^t · r_t
输出：各候选动作序列的累计回报与预测观测
选择：R 最大且满足安全约束的动作序列

其中 H 是推演时域，γ 是折扣因子。时域越长，模型越能预见远期风险，但误差也会累积。因此工程上常采用短时域高频推演、长时域稀疏推演，或引入多步一致性约束来抑制漂移。

四、案例场景：十字路口左转的 rollout 决策

假设自车在无保护左转路口，前方有对向直行车流。世界模型可以并行推演三条候选动作：

动作 A：立即左转——动力学模型预测 2 秒后与对向车辆横向距离过近，奖励模型给出高碰撞风险惩罚，累计回报低。
动作 B：等待 1.5 秒后左转——预测对向车辆已通过，横向距离安全，舒适性奖励中等，累计回报最高。
动作 C：继续等待 3 秒——安全性高，但通行效率奖励低，后车可能鸣笛，综合回报次优。

系统最终选择动作 B。整个过程没有真实试错，而是在隐空间中完成了多次“虚拟试驾”，这正是 World Model 在自动驾驶中的核心价值。

五、常见误区与复盘要点

误区	表现	修正思路
把隐空间当黑箱，不约束物理意义	推演结果不可解释，规划器难以信任	加入物理量监督、解耦表示或结构化隐状态
动力学模型单步误差小，但多步 rollout 漂移严重	长时域预测画面模糊、目标消失	多步一致性损失、课程学习、滚动校正
奖励模型只关注碰撞，忽略舒适与合规	策略急刹、压线、频繁变道	多目标奖励加权，加入规则约束与人类偏好
观测模型追求像素级还原，忽略语义正确性	图像逼真但目标位置错误	联合语义损失、BEV 一致性、下游任务评估
rollout 时域过长，计算量爆炸	实时性不达标	自适应时域、并行采样、模型蒸馏

复盘时建议按“状态表示是否充分 → 隐空间是否稳定 → 动力学是否多步一致 → 观测是否语义正确 → 奖励是否对齐人类偏好 → rollout 是否实时”的顺序逐项排查，这比单独调某一个模块更有效。

需要特别注意：World Model 的推演结果只是内部估计，不能替代真实传感器校验。在安全关键场景中，rollout 输出必须与实时感知、规则约束和冗余系统交叉验证，避免“模型自信但现实打脸”。

总结来看，状态表示与隐空间解决“世界如何被压缩表达”，动力学模型解决“世界如何演化”，观测模型解决“演化结果如何被感知”，奖励模型解决“什么样的未来值得追求”，想象 rollout 则把五者串成一条可推演、可评估、可优化的决策链路。掌握这条链路，就掌握了 World Model 在自动驾驶中落地的基本原理。