第01章
强化学习入门
发展史 · 应用场景 · 核心概念 (智能体/环境/状态/动作/奖励)
基础概念
第02章
环境搭建与工具链
Gymnasium · Stable-Baselines3 · 自定义环境 · CartPole/MountainCar
工具环境
第03章
策略梯度方法 (PG)
策略梯度定理 · REINFORCE · Baseline · 方差缩减
算法梯度
第04章
Actor-Critic 方法
A2C · GAE · A3C异步架构 · 代码实现
Actor-CriticGAE
第05章
PPO算法 (近端策略优化)
PPO-Clip/Penalty · 调参 · 连续控制
PPO稳定
第06章
DQN与值函数方法
DQN · 经验回放 · 目标网络 · Double/Dueling DQN
值函数DQN
第07章
SAC算法 (软Actor-Critic)
最大熵 · 自动温度调节 · 机器人控制
SAC连续控制
第08章
TD3算法
双延迟DDPG · 双Q网络 · 目标策略平滑
TD3确定性
第09章
多智能体强化学习 (MARL)
IQL · CTDE · MADDPG · QMIX
多智能体协作
第10章
模仿学习与逆强化学习
行为克隆 · GAIL · 最大熵IRL · 自动驾驶
模仿IRL
第11章
分层强化学习 (HRL)
Option · HIRO · FeUdal · 子目标发现
分层HRL
第12章
离线强化学习 (Offline RL)
分布偏移 · BCQ · CQL · IQL · 离线到在线
离线数据
第13章
基于模型的强化学习 (MBRL)
Dyna · PETS · MBPO · 世界模型
模型规划
第14章
探索与利用 (Exploration)
ε-贪婪 · UCB · Thompson · ICM · RND
探索利用
第15章
奖励设计与稀疏奖励
Reward Shaping · HER · 课程学习
奖励稀疏
第16章
训练稳定性与调试
梯度爆炸/消失 · 奖励缩放 · 学习率调度 · TensorBoard
调试稳定
第17章
超参数调优
学习率 · γ · λ · 网络结构 · 批量大小
调参超参数
第18章
环境设计与封装
Gymnasium接口 · 动作/观测空间 · 奖励函数 · 注册
环境封装
第19章
分布式强化学习
Ape-X · IMPALA · R2D2 · Ray RLlib
分布式框架
第20章
强化学习在游戏中的应用
Atari · AlphaGo/Zero · MuZero · 游戏AI
游戏AlphaZero
第21章
强化学习在机器人中的应用
Sim-to-Real · 域随机化 · 安全RL · 控制案例
机器人迁移
第22章
强化学习在推荐系统中的应用
MAB · 上下文老虎机 · 推荐框架 · 用户模拟
推荐MAB
第23章
强化学习在自动驾驶中的应用
决策规划 · 行为预测 · 端到端 · 安全约束
自动驾驶规划
第24章
强化学习在金融中的应用
量化交易 · 投资组合 · 高频交易 · 风控
金融量化
第25章
强化学习在自然语言处理中的应用
对话系统 · 文本生成 · 机器翻译 · 知识图谱
NLP对话
第26章
强化学习在医疗健康中的应用
治疗方案 · 药物发现 · 临床试验 · 个性化医疗
医疗健康
第27章
强化学习在工业控制中的应用
过程控制 · 能源管理 · 供应链 · 制造调度
工业控制
第28章
强化学习安全与伦理
Reward Hacking · 安全约束 · 可解释性 · 公平性
安全伦理
第29章
强化学习前沿研究
元RL · 多任务 · 终身学习 · 因果RL
前沿元学习
第30章
强化学习项目实战
选题 · 实验设计 · 结果分析 · 复现 · 开源贡献
实战项目