2. 规划决策基础

在构建世界模型驱动的规划决策系统之前，必须先厘清一个根本问题：我们面对的究竟是什么样的决策问题？不同的决策问题在可观测性、状态转移规律、奖励反馈方式上存在本质差异，而这些差异直接决定了应该采用规划、学习还是二者结合的求解范式。本章将沿着"问题分类 → 规划范式 → MDP → POMDP → 强化学习"这条主线，建立后续章节所需的统一形式化语言。

一、决策问题的分类维度

决策问题可以从三个正交维度进行刻画：环境是否可观测、状态转移是否已知、反馈是否即时。可观测性区分了完全可观测与部分可观测；转移已知性区分了模型已知（可用于规划）与模型未知（必须学习）；反馈即时性则区分了单步决策与序贯决策。真实工程问题往往同时具备部分可观测、模型未知、延迟反馈三个特征，这正是世界模型方法的价值所在。

二、规划范式的演进

规划范式经历了从"开环规划"到"闭环反馈"再到"学习增强规划"的演进。开环规划假设环境完全可预测，一次性生成完整动作序列；闭环规划在每个时间步根据观测重新决策，鲁棒性更强；学习增强规划则利用数据学习模型或价值函数，在模型精度与计算开销之间取得平衡。三种范式的对比如下表所示。

三、马尔可夫决策过程（MDP）

MDP 是序贯决策的标准数学框架，由五元组 (S, A, P, R, γ) 定义。其中 S 为状态空间，A 为动作空间，P(s'|s,a) 为状态转移概率，R(s,a) 为即时奖励，γ 为折扣因子。MDP 的核心假设是马尔可夫性：下一状态只依赖当前状态和动作，与历史无关。这一假设使得值函数可以递归定义，从而导出贝尔曼方程。

V(s) = max_a [ R(s,a) + γ * Σ_s' P(s'|s,a) * V(s') ]
Q(s,a) = R(s,a) + γ * Σ_s' P(s'|s,a) * max_a' Q(s',a')

求解 MDP 的经典方法包括值迭代、策略迭代和线性规划。当状态空间连续或巨大时，需要函数逼近，这正是深度强化学习的切入点。

四、部分可观测马尔可夫决策过程（POMDP）

当智能体无法直接观测真实状态，只能获得与状态相关的观测 o 时，MDP 扩展为 POMDP，增加观测空间 O 和观测概率 O(o|s',a)。此时最优决策不能仅依赖当前观测，而必须维护一个信念状态 b(s)，即对当前状态的概率分布。信念更新遵循贝叶斯规则：

b'(s') = η * O(o|s',a) * Σ_s P(s'|s,a) * b(s)

POMDP 的求解复杂度远高于 MDP，因为信念空间是连续且高维的。工程上常用近似方法：点信念树、QMDP、以及基于循环神经网络的信念编码。世界模型在这里扮演关键角色——它同时提供状态转移预测和观测生成，使信念更新可以在隐空间高效完成。

五、强化学习基础与 MDP 的关系

强化学习是求解 MDP/POMDP 的无模型或基于模型方法。无模型方法直接学习策略 π(a|s) 或值函数 Q(s,a)，不显式建模 P 和 R；基于模型的方法先学习环境模型，再在模型中进行规划。二者的核心区别在于样本效率与渐近性能的权衡。

六、典型场景与常见误区

以自动驾驶为例：车辆无法直接观测其他驾驶员的意图（部分可观测），交通规则和动力学可近似建模（部分已知），碰撞惩罚延迟出现（序贯决策）。这正是一个典型的 POMDP。实践中常见的误区包括：把 POMDP 当作 MDP 处理而忽略信念维护；在模型误差较大时过度依赖开环规划；以及混淆"奖励设计"与"目标设定"，导致策略钻奖励漏洞。