2. 马尔可夫决策过程

马尔可夫决策过程，简称 MDP。说实话，这是整个强化学习的基石。你想想看，不管多复杂的决策问题，最后都能抽象成 MDP 这套框架。我在做机器人路径规划时，一开始总想着直接写规则，结果代码越写越乱。后来老老实实搭了个 MDP 模型，问题一下子就清晰了。

2.1 什么是马尔可夫决策过程

MDP 说白了，就是一个数学框架。它用来描述智能体与环境交互的过程。智能体观察当前状态，做出一个动作，环境反馈一个奖励，然后状态发生转移。就这么简单。

但这里有个关键点——马尔可夫性。什么意思呢？就是未来的状态只取决于当前状态和当前动作，跟过去的历史没关系。嗯，这个假设在实际中不一定完全成立，但大多数情况下够用了。

2.2 状态与动作

状态，就是智能体感知到的环境信息。动作，就是智能体可以做的事情。这两个概念看起来简单，但实际设计时坑很多。

我习惯把状态设计成充分统计量。什么意思？就是状态里包含的信息，要能让你做出最优决策。比如下围棋，当前棋盘上的棋子分布就是状态，你不需要知道之前每一步是怎么下的。

动作空间分两种：离散和连续。离散动作空间，比如上下左右四个方向。连续动作空间，比如方向盘转多少度。我个人建议，能用离散就别用连续。连续动作空间处理起来复杂得多，我在自动驾驶项目中吃过这个亏。

2.3 奖励函数

奖励函数，就是告诉智能体什么行为是好的。这是 MDP 里最需要花心思设计的地方。

奖励函数设计有几个原则：

• 稀疏 vs 密集：稀疏奖励只在目标达成时给，比如赢了给+1，输了给-1。密集奖励每一步都给，比如离目标近了给正奖励。密集奖励学得快，但容易让智能体钻空子。
• 延迟奖励：有些动作的后果要很久才显现。比如下棋，一步好棋可能要到几十步后才赢。这时候就需要折扣因子来帮忙。
• 奖励塑形：可以给一些中间奖励来引导学习。但要注意，不要改变最优策略。我曾经在某个项目中，给了一个看似合理的中间奖励，结果智能体学会了原地转圈刷分。

2.4 状态转移概率

转移概率 P(s'|s,a)，描述的是在状态 s 下执行动作 a，转移到状态 s' 的概率。这个概率反映了环境的随机性。

比如你让机器人往前走一步，它可能因为地面打滑，只走了半步。这个不确定性，就体现在转移概率里。

转移概率有两种情况：

• 已知模型：比如棋盘游戏，规则是确定的，转移概率就是 0 或 1。这种情况可以用动态规划求解。
• 未知模型：大多数实际问题，转移概率是未知的。这时候就需要通过采样来估计，或者用无模型方法。

我个人习惯，先假设模型已知，用动态规划跑一遍，看看最优策略长什么样。然后再切换到未知模型，用强化学习去逼近。这样心里有个底。

2.5 折扣因子

折扣因子 γ，是 MDP 里一个微妙但重要的参数。它决定了智能体有多「短视」。

• γ = 0：只看眼前，只关心即时奖励。
• γ = 1：无限远视，所有未来奖励同等重要。
• γ 在 0 到 1 之间：越靠近 1，越看重长期收益。

为什么需要折扣因子？三个原因：

1. 数学上保证收敛：无限时间步的奖励求和可能发散，折扣因子让求和收敛。
2. 模拟不确定性：未来的奖励不如现在的可靠，打个折扣更合理。
3. 控制策略偏好：调整 γ 可以改变智能体的行为风格。

2.6 核心逻辑流程图

下面这张图，展示了 MDP 的核心交互逻辑。我每次讲课时都会画一遍，因为它太重要了。

你看这个循环：智能体观察状态 s，做出动作 a，环境反馈奖励 r 并转移到新状态 s'。然后重复这个过程。这就是 MDP 的全部。

2.7 一个简单的代码示例

下面我用 Python 实现一个极简的 MDP 环境。这个环境只有两个状态，两个动作。代码很简单，但能帮你理解 MDP 的结构。

import numpy as np

class SimpleMDP:
    def __init__(self, gamma=0.9):
        self.states = [0, 1]          # 两个状态
        self.actions = [0, 1]         # 两个动作
        self.gamma = gamma            # 折扣因子
        
        # 转移概率 P(s'|s,a)
        # P[state][action][next_state]
        self.P = {
            0: {0: {0: 0.8, 1: 0.2},   # 状态0，动作0
                1: {0: 0.3, 1: 0.7}},  # 状态0，动作1
            1: {0: {0: 0.6, 1: 0.4},   # 状态1，动作0
                1: {0: 0.1, 1: 0.9}}   # 状态1，动作1
        }
        
        # 奖励函数 R(s,a,s')
        self.R = {
            0: {0: {0: 1, 1: -1},      # 状态0，动作0
                1: {0: -1, 1: 2}},     # 状态0，动作1
            1: {0: {0: 0, 1: 1},       # 状态1，动作0
                1: {0: -2, 1: 3}}      # 状态1，动作1
        }
    
    def step(self, state, action):
        # 根据转移概率采样下一个状态
        probs = self.P[state][action]
        next_state = np.random.choice(
            self.states, p=[probs[s] for s in self.states]
        )
        # 获取奖励
        reward = self.R[state][action][next_state]
        return next_state, reward
    
    def value_iteration(self, theta=1e-6):
        # 值迭代求解最优价值函数
        V = np.zeros(len(self.states))
        while True:
            delta = 0
            for s in self.states:
                v = V[s]
                # Bellman 最优方程
                max_value = float('-inf')
                for a in self.actions:
                    value = 0
                    for s_next in self.states:
                        prob = self.P[s][a][s_next]
                        reward = self.R[s][a][s_next]
                        value += prob * (reward + self.gamma * V[s_next])
                    max_value = max(max_value, value)
                V[s] = max_value
                delta = max(delta, abs(v - V[s]))
            if delta < theta:
                break
        return V

# 使用示例
mdp = SimpleMDP(gamma=0.95)
optimal_V = mdp.value_iteration()
print("最优价值函数:", optimal_V)

2.8 实际应用中的注意事项

最后，分享几个我在项目中积累的经验：

• 状态空间爆炸：状态太多时，转移概率矩阵会变得巨大。这时候需要用函数近似，比如神经网络。
• 奖励设计是艺术：我见过太多项目，算法没问题，但奖励设计不合理导致学不出来。多花时间在奖励设计上，绝对值得。
• 折扣因子不是玄学：它直接影响策略。任务周期短，γ 可以小一些。任务周期长，γ 要大一些。
• 先跑通再优化：我习惯先用小规模问题验证 MDP 模型是否正确，再扩展到大规模。这样能快速发现设计缺陷。

好了，MDP 的核心内容就这些。状态、动作、奖励、转移概率、折扣因子，这五个要素构成了强化学习的基石。理解透它们，后面的算法学起来就轻松多了。