3. 强化学习基础
在交易与仓位决策中，我们面对的不是一次性选择，而是一连串“观察—决策—承担结果—再观察”的循环。强化学习（RL）正是为这种序贯决策而生的框架，而马尔可夫决策过程（MDP）是它的数学底座。理解 MDP，等于拿到了把交易问题翻译成可学习问题的“词典”。
一、核心原理：MDP 的六要素
一个 MDP 通常写成五元组 (S, A, P, R, γ)，再加上策略 π 与价值函数，就构成完整的决策闭环。把它映射到交易场景：
- 状态 S：智能体在某一时刻能观察到的市场与账户信息，例如价格窗口、持仓、浮动盈亏、波动率、成交量等。
- 动作 A：可执行的操作，例如买入、卖出、持有，或更细的仓位比例（0%、25%、50%、100%）。
- 转移概率 P：执行动作后，市场与账户状态如何变化。交易中它由市场真实动态决定，通常未知且非平稳。
- 奖励 R：对动作结果的即时反馈，例如本步收益、风险调整收益或回撤惩罚。
- 折扣因子 γ：衡量未来奖励的现值权重，γ 越接近 1 越重视长期收益。
- 策略 π：从状态到动作的映射，是智能体真正要学的东西。
关键点：MDP 的“马尔可夫性”要求当前状态已包含做决策所需的全部历史信息。若状态设计遗漏了关键变量（如持仓成本），策略就会在信息不完整的情况下学习，导致决策偏差。
二、方法流程：从交易问题到可学习目标
把交易任务形式化为 MDP，通常遵循以下流程：
- 定义状态：确定观察窗口、特征集合与归一化方式，保证状态可复现。
- 定义动作空间：离散（买/卖/持）或连续（目标仓位比例）。
- 设计奖励：明确优化目标，如收益、夏普、回撤惩罚或交易成本扣除后的净收益。
- 设定折扣因子与时间步：日频、分钟频或事件驱动。
- 选择求解方式：价值迭代、策略迭代，或深度强化学习（DQN、PPO 等）。
- 评估与迭代：用样本外数据检验策略稳定性，防止过拟合。
其中，价值函数是评估策略好坏的核心工具。状态价值 V(s) 表示从状态 s 出发，按策略 π 行动所能获得的期望折扣回报；动作价值 Q(s,a) 则表示在状态 s 先执行动作 a，再遵循策略 π 的期望回报。两者关系为：
V(s) = Σ_a π(a|s) · Q(s,a)
Q(s,a) = R(s,a) + γ · Σ_s' P(s'|s,a) · V(s')把第二式代入第一式，就得到贝尔曼方程：
V(s) = Σ_a π(a|s) · [ R(s,a) + γ · Σ_s' P(s'|s,a) · V(s') ]贝尔曼方程的意义在于：它把一个“长期回报”问题拆解成“即时奖励 + 下一状态价值的折扣”。这正是强化学习能够通过迭代逐步逼近最优策略的根本原因。
三、案例场景：用贝尔曼方程评估一个仓位策略
假设我们有一个简化策略：当状态为“上涨趋势 + 空仓”时买入 50% 仓位；当状态为“下跌趋势 + 持仓”时卖出至空仓。设 γ = 0.9，单步奖励为净收益。若当前状态 s 下执行买入，即时奖励为 +2，下一状态 s' 的 V(s') 估计为 3，则：
Q(s, 买入) = 2 + 0.9 × 3 = 4.7
Q(s, 持有) = 0.5 + 0.9 × 1.2 = 1.58
策略 π 选择 Q 值更大的动作 → 买入这个例子说明：价值函数不是预测价格，而是评估“在某个状态下按策略行动”的长期期望。交易中很多错误决策，恰恰是因为只看即时收益，忽略了下一状态的价值与风险。
| MDP 要素 | 交易含义 | 常见设计错误 |
|---|---|---|
| 状态 S | 价格、持仓、盈亏、波动率 | 遗漏持仓成本，导致状态不满足马尔可夫性 |
| 动作 A | 买卖持或目标仓位 | 动作空间过粗，无法表达仓位管理 |
| 奖励 R | 净收益、夏普、回撤惩罚 | 只奖励收益，不惩罚风险与成本 |
| 折扣 γ | 长期与短期权衡 | γ 过高导致忽视近期风险 |
| 策略 π | 状态到仓位的映射 | 用未来信息训练，造成前视偏差 |
四、误区与复盘
误区一：把“预测价格”当成强化学习目标。RL 优化的是策略的长期回报，而不是单点价格预测。误区二：奖励设计只看收益，忽略交易成本、滑点和回撤，导致学到的策略在实盘中失效。误区三：状态设计引入未来数据，回测表现虚高。
复盘建议：每次策略失效时，先检查状态是否完整、奖励是否与真实目标一致、γ 是否合理，再检查算法本身。MDP 建模错误往往比算法选择错误更致命。
掌握 MDP、价值函数与贝尔曼方程后，你就拥有了描述交易决策问题的统一语言。后续的动态规划、时序差分与深度强化学习方法，都是在这套语言之上，寻找更高效的求解路径。