01
强化学习概述：从试错学习到智能决策
强化学习的历史、核心概念（智能体、环境、状态、动作、奖励）及应用领域概览。
基础入门
02
马尔可夫决策过程
MDP的数学框架，状态转移概率、奖励函数、折扣因子，以及策略和价值函数的定义。
数学核心
03
动态规划与策略迭代
基于模型的强化学习方法，策略评估、策略改进、策略迭代和值迭代算法的原理与实现。
算法规划
04
蒙特卡洛方法
无模型强化学习的起点，基于完整轨迹的蒙特卡洛预测与控制，探索与利用的平衡。
采样无模型
05
时序差分学习
TD(0)、SARSA和Q-Learning算法，从片段学习到单步更新，理解偏差与方差的权衡。
在线核心
06
深度Q网络 (DQN)
DQN的诞生背景，经验回放和目标网络两大核心技巧，以及从Atari游戏到现代应用的演进。
深度Atari
07
策略梯度方法
从值函数到策略优化，REINFORCE算法，策略梯度的数学推导与实现。
策略梯度
08
Actor-Critic架构
融合值函数和策略梯度的优势，A2C/A3C算法，以及优势函数的计算。
混合高效
09
PPO算法
近端策略优化的核心思想，裁剪目标函数，TRPO与PPO的对比，现代强化学习的事实标准。
稳定主流
10
SAC算法
软Actor-Critic，最大熵强化学习框架，自动调整温度参数，在连续控制任务中的卓越表现。
连续控制最大熵
11
多智能体强化学习
独立学习与集中训练分散执行，MADDPG算法，多智能体环境下的挑战与解决方案。
多智能体协作
12
模仿学习与逆强化学习
从专家演示中学习，行为克隆、GAIL算法，以及奖励函数推断。
演示奖励
13
基于模型的强化学习
学习环境模型，规划与决策，Dyna架构，以及模型偏差问题。
模型规划
14
世界模型与Dreamer
从像素到潜在空间，DreamerV1/V2/V3系列，基于想象轨迹的规划。
潜在空间想象
15
离线强化学习
从静态数据集中学习，分布外动作问题，CQL、IQL等离线算法。
离线数据驱动
16
分层强化学习
时间抽象与子目标，Option框架，分层策略学习，以及技能发现。
抽象技能
17
探索与利用
多臂老虎机问题，UCB算法，汤普森采样，以及基于内在动机的探索方法。
探索多臂
18
奖励塑形与课程学习
设计有效的奖励函数，势能函数塑形，自动课程学习与逆向课程生成。
奖励课程
19
仿真环境搭建
Gymnasium库详解，自定义环境开发，MuJoCo物理引擎入门。
仿真MuJoCo
20
仿真到现实的迁移
Sim-to-Real的核心挑战，领域随机化，系统辨识，以及域适应技术。
迁移Sim2Real
21
领域随机化实战
随机化物理参数、视觉外观、延迟等，在机器人操控任务中的成功案例。
随机化鲁棒
22
域适应与风格迁移
CycleGAN在仿真迁移中的应用，像素级域适应，以及特征级对齐。
风格GAN
23
渐进式网络与微调
从仿真策略到现实策略的迁移学习，渐进式网络架构，以及微调策略。
微调迁移
24
元学习与快速适应
MAML算法，学习如何学习，在仿真迁移中实现快速适应新环境。
元学习MAML
25
鲁棒控制与安全强化学习
约束马尔可夫决策过程，安全层，以及李雅普诺夫函数在强化学习中的应用。
安全约束
26
强化学习在机器人中的应用
机械臂操控、灵巧手操作、移动机器人导航，以及足式机器人 locomotion。
机器人操控
27
强化学习在自动驾驶中的应用
决策规划、运动控制、端到端驾驶，以及仿真平台CARLA。
自动驾驶CARLA
28
强化学习在游戏AI中的应用
AlphaGo/AlphaZero系列， Five，以及Dota 2和星际争霸II。
游戏AlphaGo
29
强化学习在推荐系统中的应用
用户建模、动态推荐策略，以及多目标优化。
推荐动态
30
强化学习前沿与未来趋势
大语言模型与强化学习的结合，RLHF技术，以及通用人工智能的展望。
前沿RLHF