01
强化学习概述
发展史、核心概念（智能体、环境、状态、动作、奖励）与监督学习的区别
基础入门
02
关节机器人基础
运动学基础、关节空间与任务空间、MuJoCo/PyBullet仿真环境
机器人仿真
03
马尔可夫决策过程
MDP五元组、状态转移概率、回报与折扣因子、价值函数与策略
MDP理论
04
动态规划
策略评估、策略迭代、价值迭代、在关节控制中的局限性
规划经典
05
蒙特卡洛方法
蒙特卡洛预测/控制、探索性初始化、在关节任务中的应用
采样无模型
06
时序差分学习
TD(0)、SARSA、Q-Learning、与MC方法对比
TD核心
07
策略梯度方法
REINFORCE、策略梯度定理、基线技巧、连续控制优势
策略梯度
08
Actor-Critic架构
AC框架、优势函数估计、A2C算法、关节控制实践
AC混合
09
深度Q网络
DQN原理、经验回放、目标网络、离散关节控制
DQN深度
10
PPO算法
PPO原理、裁剪目标函数、重要性采样、关节策略优势
PPO稳定
11
SAC算法
最大熵强化学习、自动温度调节、连续关节控制表现
SAC最大熵
12
DDPG算法
DDPG原理、确定性策略梯度、软更新、局限性
DDPG连续
13
TD3算法
双Q网络、延迟更新、目标策略平滑、关节控制实践
TD3改进
14
奖励函数设计
稀疏/密集奖励、奖励塑形、势能函数、关节任务技巧
奖励设计
15
状态表示与特征工程
原始传感器、关节角度/角速度、归一化、特征提取
特征预处理
16
动作空间设计
离散/连续动作、边界处理、动作缩放、关节控制选择
动作空间
17
仿真环境搭建
MuJoCo/PyBullet配置、自定义关节环境、接口封装
仿真环境
18
策略网络架构
MLP、残差网络、LSTM、关节策略网络设计选择
网络架构
19
训练稳定性技巧
梯度裁剪、学习率调度、初始化、批归一化、关节训练实践
稳定技巧
20
探索与利用
ε-贪婪、高斯噪声、参数空间噪声、关节控制探索策略
探索利用
21
多任务与迁移学习
多任务RL、域随机化、Sim2Real迁移、关节策略应用
迁移多任务
22
模仿学习
行为克隆、逆强化学习、GAIL、从专家数据学习关节策略
模仿IL
23
分层强化学习
HRL框架、选项学习、子目标分解、复杂关节任务
分层HRL
24
安全强化学习
约束MDP、安全屏障函数、安全探索、关节控制安全
安全约束
25
模型预测控制与RL结合
MPC原理、基于模型的RL、MBPO、关节控制混合方法
MPC模型
26
多智能体强化学习
多智能体MDP、CTDE、MADDPG、多关节机器人应用
多智能体MARL
27
硬件在环训练
真实机器人挑战、域适应、系统辨识、仿真到实物部署
硬件部署
28
训练监控与调试
TensorBoard、奖励曲线、策略可视化、失败原因分析
调试监控
29
性能评估与基准测试
评估指标（成功率/能耗/平滑度）、标准基准、消融实验
评估基准
30
前沿进展与未来方向
Transformer策略、离线RL、元RL、关节控制展望
前沿未来