4. 强化学习核心算法
在交易与仓位决策中，智能体面对的是连续的价格流、不确定的成交与滑点，以及延迟的盈亏反馈。要让它学会“何时加仓、何时减仓、何时空仓”，必须依赖一套能从交互数据中估计价值函数并改进策略的算法体系。本节沿着“已知模型 → 未知模型 → 在线学习 → 策略差异 → 信用分配加速”的主线，梳理六类核心算法，并说明它们在交易场景中的适用边界。
一、核心原理：从贝尔曼方程到自举
几乎所有强化学习算法都围绕贝尔曼期望方程展开：状态价值等于即时奖励加上折扣后的下一状态价值期望。动态规划（DP）在已知环境转移概率与奖励函数时，直接对该方程做迭代求解；蒙特卡洛（MC）则完全不依赖模型，用完整回合的实际回报均值来估计价值；时序差分（TD）介于两者之间，用“即时奖励 + 下一状态估计值”进行自举更新，无需等待回合结束。
三者的本质差异在于更新目标与数据使用方式：DP 用模型展开一步，MC 用真实回报，TD 用估计值替代真实回报。交易中环境模型通常不可得，因此 DP 更多作为理论基准与离线规划工具；MC 适合按天、按周结算的回合式策略评估；TD 则是在线交易智能体的主力。
二、方法流程：六类算法的定位与更新逻辑
下面用一张结构图展示六类算法在“是否依赖模型、是否在线、是否同策略、是否使用资格迹”四个维度上的位置关系，便于在交易系统选型时快速定位。
在交易系统中，算法选型通常遵循以下流程：
- 判断是否有可用环境模型：若有仿真撮合与转移概率，可先用 DP 求基准策略；否则进入无模型分支。
- 判断回合是否可终止：日内策略可按收盘结算，适合 MC；连续持仓策略更适合 TD。
- 判断数据来源是否受策略影响：若使用历史回放数据训练，优先 Q-Learning；若必须用当前策略实时产生的数据，选 SARSA。
- 判断信用分配是否稀疏：若奖励只在平仓时出现，引入资格迹 TD(λ) 或 n-step 回报加速传播。
三、交易场景案例：Q-Learning 与 SARSA 的仓位决策差异
假设状态为“持仓 + 当日动量分档”，动作为“加仓、持有、减仓”，奖励为下一时段收益减去交易成本。Q-Learning 在更新时总是假设下一步选择当前估计最优动作，因此它会倾向于学习一条“理论最优但可能激进”的仓位路径；SARSA 使用实际执行的下一个动作，会把探索带来的亏损也计入价值，因此策略更保守，回撤通常更小。
# Q-Learning 更新（异策略）
Q[s, a] += alpha * (reward + gamma * max(Q[s_next]) - Q[s, a])
# SARSA 更新（同策略）
Q[s, a] += alpha * (reward + gamma * Q[s_next, a_next] - Q[s, a])
# 资格迹 TD(λ) 中的迹衰减
eligibility[s, a] = gamma * lam * eligibility[s, a] + 1
Q[s, a] += alpha * td_error * eligibility[s, a]在实盘复盘时，一个常见现象是：Q-Learning 在震荡市中频繁切换仓位，因为 max 操作放大了对高估动作的偏好；而 SARSA 由于把探索动作的真实后果纳入更新，换手率更低。若交易成本较高，SARSA 的净收益往往反而更优。
四、误区与复盘：算法选择中的典型陷阱
| 误区 | 表现 | 修正建议 |
|---|---|---|
| 用 MC 做高频在线决策 | 必须等回合结束才更新，错过盘中调整窗口 | 改用 TD 或 n-step 回报 |
| 忽略同策略/异策略差异 | 用历史数据训练 SARSA，导致价值估计偏离 | 历史回放选 Q-Learning，实时策略选 SARSA |
| 资格迹参数 λ 设置过大 | 迹长期不衰减，旧状态被反复更新，方差爆炸 | λ 取 0.7～0.9，并配合迹裁剪 |
| 折扣因子 γ 接近 1 | 智能体过度关注远期收益，忽视交易成本 | 按持仓周期设定 γ，日内可取 0.9 左右 |
总结来看，DP 提供理论下界，MC 提供无偏但高方差的回合估计，TD 是在线学习的主力，Q-Learning 与 SARSA 分别代表异策略与同策略两条路线，资格迹则是在时间维度上加速信用分配的工具。理解它们在模型依赖、数据来源与更新目标上的差异，才能在交易与仓位决策中选对算法、调对参数、看懂回撤来源。