01
强化学习基础
马尔可夫决策过程、策略梯度、Q-learning核心概念
MDP策略梯度Q-learning
02
抓取任务定义
物体位姿估计、抓取点检测、奖励函数设计原则
位姿估计抓取点奖励设计
03
仿真环境搭建
CoppeliaSim/Gazebo配置、ROS接口、随机场景生成
CoppeliaSimGazeboROS
04
状态空间设计
视觉输入处理、力觉反馈融合、关节角度编码
视觉力觉关节编码
05
动作空间设计
连续控制 vs 离散控制、抓取姿态参数化、夹爪开合控制
连续控制离散控制夹爪
06
奖励函数陷阱
稀疏奖励问题、奖励塑形技巧、避免次优策略
稀疏奖励奖励塑形次优策略
07
算法选型
DDPG、SAC、PPO在抓取任务中的对比与选择
DDPGSACPPO
08
网络架构设计
CNN特征提取、注意力机制、多模态融合
CNN注意力多模态
09
训练稳定性
梯度爆炸/消失、目标网络更新频率、经验回放池管理
梯度目标网络回放池
10
探索策略
ε-贪婪、噪声注入、课程学习在抓取中的应用
ε-贪婪噪声注入课程学习
11
样本效率
模仿学习预训练、数据增强、迁移学习策略
模仿学习数据增强迁移学习
12
仿真到现实迁移
域随机化、系统辨识、对抗训练
域随机化系统辨识对抗训练
13
硬件部署
实时性要求、控制频率匹配、安全保护机制
实时性控制频率安全
14
物体泛化
未见物体抓取、形状分类、材质适应
泛化形状分类材质
15
动态环境
移动物体抓取、传送带场景、避障规划
移动物体传送带避障
16
多指灵巧手
高维动作空间、接触点规划、力控制策略
灵巧手接触点力控制
17
抓取失败检测
视觉反馈、力觉阈值、重试策略设计
视觉反馈力觉阈值重试
18
堆叠场景
分层策略、物体分离、顺序规划
分层策略物体分离顺序规划
19
工具使用
抓取后操作、工具姿态调整、任务链学习
工具操作姿态调整任务链
20
人机协作
安全交互、意图预测、共享控制
安全交互意图预测共享控制
21
评估指标
成功率、完成时间、鲁棒性测试、泛化能力
成功率鲁棒性泛化
22
调试技巧
奖励曲线分析、策略可视化、失败案例复盘
奖励曲线可视化复盘
23
超参数调优
学习率、批大小、网络层数的影响
学习率批大小网络层数
24
分布式训练
多GPU并行、异步采样、参数服务器
多GPU异步采样参数服务器
25
模型压缩
知识蒸馏、量化、剪枝在机器人上的应用
蒸馏量化剪枝
26
持续学习
灾难性遗忘、经验回放、弹性权重巩固
灾难性遗忘经验回放EWC
27
安全强化学习
约束策略优化、安全屏障、奖励约束
约束优化安全屏障奖励约束
28
可解释性
注意力可视化、价值函数分析、决策树提取
注意力可视化价值函数决策树
29
前沿进展
大模型辅助策略、扩散模型生成轨迹、语言引导抓取
大模型扩散模型语言引导
30
综合项目
从仿真到实物的完整抓取策略训练流程
仿真到实物完整流程项目实战