01
强化学习概述
从试错学习到智能决策，核心概念与应用场景
游戏AI机器人自动驾驶
02
马尔可夫决策过程
MDP数学框架、状态转移、折扣因子与建模
数学框架奖励函数
03
动态规划与策略迭代
策略评估、改进、值迭代与网格世界实现
策略迭代值迭代
04
蒙特卡洛方法
MC预测与控制，ε-贪婪与首次/每次访问
探索利用ε-贪婪
05
时序差分学习
TD(0)、SARSA、Q-learning 与 DP/MC关系
TDQ-learning
06
多臂老虎机问题
探索与利用困境，UCB、汤普森采样与调参
UCB汤普森采样
07
函数逼近与深度学习
线性/神经网络逼近，DQN原理与架构
DQN神经网络
08
DQN的改进技术
目标网络、经验回放、双DQN、Dueling DQN
双DQN竞争网络
09
策略梯度方法
REINFORCE、策略梯度定理、Actor-Critic
REINFORCE基线
10
Actor-Critic算法
A2C、A3C原理，同步异步训练与部署
A2CA3C
11
PPO算法
近端策略优化、裁剪目标、自适应KL惩罚
PPO连续控制
12
SAC算法
软Actor-Critic、最大熵、温度自动调节
SAC机器人控制
13
DDPG算法
深度确定性策略梯度、连续动作与目标平滑
DDPG连续动作
14
TD3算法
双延迟DDPG、裁剪双Q学习、解决价值高估
TD3价值高估
15
模仿学习
行为克隆、逆RL、GAIL，何时用模仿学习
行为克隆GAIL
16
逆强化学习
从专家演示学奖励、最大熵逆RL、对抗式
IRL最大熵
17
分层强化学习
选项框架、子目标分解、分层策略学习
选项子目标
18
多智能体强化学习
独立学习、CTDE、MADDPG、非平稳性
MADDPGCTDE
19
基于模型的强化学习
环境模型、Dyna、MuZero、规划与学习
MuZeroDyna
20
离线强化学习
离线数据集、CQL、BCQ、分布外动作问题
CQL离线RL
21
探索策略
计数探索、RND、Go-Explore、好奇心驱动
RND好奇心
22
奖励设计
稀疏奖励、奖励塑形、内在奖励与实战坑
奖励塑形稀疏奖励
23
安全强化学习
约束MDP、安全探索、屏障函数与策略优化
安全约束MDP
24
元强化学习
MAML、RL²、任务分布与快速适应
MAML元学习
25
迁移学习与多任务学习
策略迁移、表示迁移、多任务RL与预训练
迁移多任务
26
注意力机制与RL
自注意力策略网络、Transformer、关系推理
Transformer注意力
27
世界模型
Dreamer、隐空间规划、世界模型数据增强
Dreamer世界模型
28
强化学习工程实践
环境封装、监控、调参、部署与Ray RLlib
工程Ray
29
强化学习评估与调试
训练曲线、策略可视化、梯度爆炸与失败模式
调试评估
30
强化学习前沿与未来
RLHF、通用智能体、开放式学习、科学发现
RLHF前沿