4、无模型预测：蒙特卡洛方法、时序差分学习（TD）、n步TD

好，咱们进入强化学习的核心地带了。前面我们聊了动态规划，但那玩意儿有个硬伤——它需要知道环境模型，也就是状态转移概率和奖励函数。说白了，你得先知道这个世界怎么运作，才能去规划。

但现实世界呢？你想想看，一个机器人抓起一个杯子，它哪知道下一秒杯子会滑成什么样？它只能靠试。这就是无模型预测要解决的问题——在不了解环境模型的情况下，仅凭经验来估计状态的价值。

我个人习惯把这类方法分成三大流派：蒙特卡洛、时序差分，以及它们的混血儿——n步TD。咱们一个一个来。

4.1 蒙特卡洛方法：靠完整轨迹说话

蒙特卡洛方法，名字听着高大上，其实思路特别朴素——跑完一整局，然后回头看。

什么意思呢？比如你让机器人抓一个物体，从开始到成功（或者失败），这是一条完整的轨迹。等这局结束了，你统计一下这局里每个状态之后累积了多少奖励，然后用这个值去更新那个状态的价值。

公式长这样：

V(s) ← V(s) + α * (G_t - V(s))

其中 G_t 是从状态 s 开始到结束的总回报。α 是学习率。

我在项目中遇到过一个问题：用蒙特卡洛训练一个机械臂抓取策略，每次都要等机械臂完成整个动作序列才能更新。一个动作序列可能要几十秒，训练效率低得让人抓狂。而且，如果任务永远不结束怎么办？比如一个持续运行的传送带分拣任务——它没有明确的终点。

嗯，这就是蒙特卡洛的局限性：只能处理有终止状态的回合制任务。

4.2 时序差分学习：边跑边学

时序差分学习（TD）就聪明多了。它不需要等到一局结束，而是每走一步就更新一次。说白了，它是用当前步的奖励 + 下一步的估计价值来更新当前状态的价值。

公式长这样：

V(s) ← V(s) + α * (r + γ * V(s') - V(s))

这里 r + γ * V(s') 叫做 TD 目标。它用下一步的真实奖励加上下一步的估计价值，来修正当前步的估计。

你想想看，这就像你走路时不是等到了终点才回头看，而是每走一步就低头看看脚下的路，随时调整方向。

TD方法的方差比蒙特卡洛小，但引入了偏差——因为 V(s') 本身也是估计值，用估计值去更新估计值，这叫「自举」。不过，这种偏差通常是可以接受的，因为它换来了更快的收敛速度。

4.3 n步TD：取个折中

蒙特卡洛看全局，方差大；TD只看一步，偏差大。那有没有中间地带？有，就是 n步TD。

n步TD的思路是：看 n 步的真实奖励，然后用第 n+1 步的估计价值来收尾。

公式长这样：

V(s) ← V(s) + α * (G_t^(n) - V(s))

其中 G_t^(n) = r_t + γ * r_{t+1} + ... + γ^(n-1) * r_{t+n-1} + γ^n * V(s_{t+n})

当 n=1 时，它就是TD(0)；当 n=∞ 时，它就是蒙特卡洛。n 越大，越像蒙特卡洛，偏差越小但方差越大；n 越小，越像TD，偏差越大但方差越小。

方法	偏差	方差	更新时机	适用场景
蒙特卡洛	低（无偏）	高	回合结束	有明确终点的任务
TD(0)	高（有偏）	低	每步	连续任务、在线学习
n步TD	中等	中等	n步后	需要平衡偏差和方差

4.4 知识体系总览

下面这张图把三种方法的关系梳理清楚了：

说白了，这三种方法没有的好坏。蒙特卡洛像是一个谨慎的人，非要等到事情结束才下结论；TD像一个急性子，走一步就猜一步；n步TD则是个务实派，看几步再猜。

在实际工程中，我个人的建议是：先从TD(0)开始试，因为它简单、高效、适合在线学习。如果发现收敛太慢或者效果不好，再尝试调大 n 值。记住，没有银弹，只有适合你任务的方案。

嗯，关于无模型预测，今天就聊到这儿。这三种方法是你理解后续所有强化学习算法的基础——Q-learning、SARSA、甚至深度强化学习，都离不开这些核心思想。

可可精品资料库