01
课程导论与预备知识
强化学习在机器人抓取中的应用概述、课程目标与学习路径、Python与PyTorch环境配置
导论环境配置
02
强化学习基础（一）
马尔可夫决策过程（MDP）、状态、动作、奖励、策略与价值函数
MDP价值函数
03
强化学习基础（二）
贝尔曼方程、动态规划、策略迭代与值迭代
贝尔曼动态规划
04
无模型预测
蒙特卡洛方法、时序差分学习（TD）、n步TD
蒙特卡洛TD
05
无模型控制
Q-learning、SARSA、离线策略与在线策略学习
Q-learningSARSA
06
深度Q网络（DQN）
神经网络拟合Q函数、经验回放、目标网络
DQN经验回放
07
DQN改进
Double DQN、Dueling DQN、优先经验回放
DoubleDueling
08
策略梯度方法
REINFORCE算法、策略梯度定理、基线
REINFORCE基线
09
Actor-Critic方法
A2C、A3C、优势函数估计
A2CA3C
10
近端策略优化（PPO）
PPO-Clip与PPO-Penalty、重要性采样
PPOClip
11
软演员-评论家（SAC）
最大熵强化学习、自动温度调节
SAC最大熵
12
机器人运动学基础
刚体变换、正运动学、逆运动学、雅可比矩阵
运动学雅可比
13
机器人抓取基础
抓取构型、力封闭与形封闭、抓取质量度量
抓取力封闭
14
仿真环境搭建（一）
MuJoCo物理引擎介绍、安装与基本使用
MuJoCo物理引擎
15
仿真环境搭建（二）
PyBullet与CoppeliaSim对比、机器人模型导入
PyBulletCoppeliaSim
16
仿真环境搭建（三）
Gymnasium接口封装、自定义抓取环境
Gymnasium自定义
17
视觉感知基础
RGB-D相机、点云处理、物体位姿估计
RGB-D点云
18
抓取检测网络
GG-CNN、GraspNet、6-DoF抓取检测
GraspNet6-DoF
19
状态表示学习
从原始像素到低维特征、自编码器、对比学习
自编码器对比学习
20
奖励函数设计
稀疏奖励与密集奖励、奖励塑形、课程学习
奖励塑形课程学习
21
动作空间设计
关节空间、末端执行器空间、混合动作空间
动作空间混合
22
基于模型的强化学习
世界模型、模型预测控制（MPC）、规划与学习
世界模型MPC
23
样本效率提升
Hindsight Experience Replay、数据增强、域随机化
HER域随机化
24
安全与约束
安全强化学习、约束马尔可夫决策过程、盾牌机制
安全CMDP
25
多任务与元学习
多任务抓取策略、MAML、上下文策略
MAML元学习
26
Sim-to-Real迁移
域随机化、系统辨识、对抗域适应
Sim2Real域适应
27
项目实战（一）
搭建桌面抓取仿真环境、训练DQN抓取策略
实战DQN
28
项目实战（二）
训练PPO策略、对比不同算法性能
PPO对比
29
项目实战（三）
加入视觉输入、端到端抓取策略训练
视觉端到端
30
总结与前沿展望
当前挑战、前沿研究方向（大模型、灵巧手抓取）、课程总结
前沿灵巧手