4. 蒙特卡洛方法
蒙特卡洛方法，说白了就是「用大量随机采样来逼近真实答案」。
我在做强化学习项目时，经常遇到一个问题：环境模型太复杂，根本没法用动态规划一步步算。这时候，蒙特卡洛就成了我的救命稻草。你想想看，与其绞尽脑汁去推导精确解，不如直接扔一堆样本进去，让数据自己说话。
4.1 蒙特卡洛的核心思想
蒙特卡洛方法不依赖环境模型。它直接从真实的交互经验中学习。什么意思呢？就是让智能体在环境里跑完整的一局，记录下每一步的奖励，然后回头算每个状态的价值。
举个例子。我做过一个棋类AI项目。棋盘状态空间巨大，用动态规划根本算不过来。我让AI自己跟自己下棋，下完一整局，再回头看：哦，原来这个局面下，最后赢的概率是70%。这就是蒙特卡洛的朴素思想。
核心公式：
V(s) = 平均回报(G_t)，其中G_t是从状态s开始到终局的累计折扣奖励。
说白了，就是「多跑几次，取平均」。
4.2 首次访问 vs 每次访问
这里有个细节，我刚开始学的时候踩过坑。蒙特卡洛有两种实现方式：
- 首次访问蒙特卡洛（First-Visit MC）：在一局中，状态s第一次出现时才更新它的价值。
- 每次访问蒙特卡洛（Every-Visit MC）：状态s每次出现都更新。
我曾经在一个游戏AI项目里用了每次访问，结果收敛速度慢得离谱。后来换成首次访问，效果好了很多。为什么呢？因为首次访问的方差更小，更稳定。
我的建议：除非你有特殊理由，否则优先用首次访问。它更稳健，也更容易调试。
4.3 蒙特卡洛策略评估的步骤
嗯，这里我们直接看流程。我习惯把它拆成三步：
- 采样：用当前策略生成完整的一局（episode）。
- 计算回报：从终局倒着算每个状态的累计折扣奖励G_t。
- 更新价值：把G_t加到状态s的累计值里，然后取平均。
代码实现其实很简洁。我贴一段我常用的伪代码：
def mc_policy_evaluation(policy, env, num_episodes, gamma=0.9):
V = defaultdict(float) # 状态价值函数
returns = defaultdict(list) # 每个状态的回报列表
for _ in range(num_episodes):
episode = generate_episode(policy, env)
G = 0
# 从后往前遍历
for t in range(len(episode)-1, -1, -1):
state, reward = episode[t]
G = gamma * G + reward
# 首次访问检查
if state not in [s for s, _ in episode[:t]]:
returns[state].append(G)
V[state] = np.mean(returns[state])
return V你看，核心逻辑就这么几行。但要注意，generate_episode这一步其实很关键。它决定了你采样的质量。
我曾经踩过的坑：采样数量太少，导致价值估计偏差巨大。我建议至少跑几千局，才能看到稳定的结果。另外，折扣因子gamma别设太大，0.9到0.99之间比较合适。
4.4 蒙特卡洛 vs 时序差分
很多人问我：蒙特卡洛和时序差分（TD）到底选哪个？
我的经验是：
| 方法 | 优点 | 缺点 |
|---|---|---|
| 蒙特卡洛 | 无偏估计，收敛性好 | 方差大，需要完整episode |
| 时序差分 | 方差小，可在线学习 | 有偏估计，依赖初始值 |
说白了，如果你的任务能跑完整局（比如棋类、游戏），蒙特卡洛更靠谱。如果任务没有明确终点（比如机器人持续控制），那就用TD。
4.5 蒙特卡洛在策略评估中的应用
策略评估，就是给定一个策略，算出它的价值函数。蒙特卡洛在这里特别适合：
- 你不需要知道环境的转移概率。
- 你只需要让智能体按策略行动，记录数据。
- 数据量够大，结果就够准。
我记得有个项目，客户的环境模型是黑盒，根本不知道状态怎么跳转。我直接用蒙特卡洛采样，跑了三天三夜，最后给出的策略评估结果，客户验证后说误差在1%以内。嗯，那一刻我觉得蒙特卡洛真香。
4.6 知识体系图
下面这张图，是我自己总结的蒙特卡洛方法知识结构。你看一眼就能明白整体脉络：
4.7 蒙特卡洛的局限性
任何方法都有短板。蒙特卡洛也不例外：
- 方差大：尤其当episode长度很长时，回报的波动会很大。
- 需要完整episode：有些任务根本没有明确的终局。
- 探索不足：如果策略太保守，很多状态根本访问不到。
我曾经犯过的错：在一个连续控制任务里硬用蒙特卡洛，结果因为episode太长，方差爆炸，价值估计完全不可用。后来换成TD方法才解决问题。所以，选方法前一定要看清任务特点。
4.8 小结
蒙特卡洛方法，说白了就是「用样本均值估计期望」。它简单、直观、不依赖模型。在策略评估这个场景下，它特别适合那些能跑完整局的任务。
我个人习惯是：先用蒙特卡洛快速验证策略的可行性，再用更精细的方法调优。毕竟，在复杂场景下，能快速拿到一个「差不多」的结果，比花大量时间追求「精确」要实用得多。
嗯，蒙特卡洛就讲到这里。记住它的核心：采样、平均、逼近。这三个词，够你应对大部分场景了。