所属分类：机器人运动控制与电力电子 当前为单品课程，可返回上一级继续浏览同方向资料。

← 返回上一级

← 返回所属目录咨询 / 购买

机器人PPO与SAC技能训练

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · 机器人强化学习概述

课程导入学习目标

强化学习基础

马尔可夫决策过程 · 状态/动作/奖励 · 策略与价值函数

强化学习基础马尔可夫决策过程

策略梯度方法

策略梯度定理 · REINFORCE算法 · 基线减方差

策略梯度方法策略梯度定理

PPO核心原理

信赖域与裁剪目标 · PPO-Clip与PPO-Penal… · 优势函数GAE

PPO核心原理

PPO算法流程

采样 · 计算优势 · 多轮更新

PPO算法流程

PPO在机器人仿真中的实践

使用PyBullet/MuJoCo搭… · 状态与动作空间设计 · 奖励塑形

PPO机器人仿真

PPO调参技巧

学习率 · 裁剪范围 · GAE lambda

PPO调参技巧

PPO案例实战

训练四足机器人行走 · 机械臂到达目标 · 平衡控制等典型任务

PPO案例实战

SAC核心原理

最大熵强化学习 · 软策略评估与软策略改进 · 温度参数自动调节

SAC核心原理

SAC算法流程

经验回放 · 目标网络 · 软更新

SAC算法流程

SAC在连续控制中的优势

样本效率 · 探索能力 · 稳定性

SAC连续控制

SAC在机器人仿真中的实践

搭建连续动作空间任务（如机器人关节控… · 奖励设计 · 状态归一化

SAC机器人仿真

SAC调参技巧

学习率 · 目标熵 · tau软更新系数

SAC调参技巧

SAC案例实战

训练人形机器人跑步 · 机械手抓取 · 无人机悬停等任务

SAC案例实战

PPO与SAC对比分析

算法原理差异 · 样本效率 · 稳定性

机器人技能定义与分解

技能表示 · 任务分解 · 子技能学习

机器人技能定义分解

基于PPO的技能训练

设计奖励函数引导技能形成 · 课程学习（curriculum le…

基于SAC的技能训练

利用最大熵促进探索 · 学习多模态技能 · 技能多样性度量

多任务与多技能学习

共享策略 · 多任务奖励设计 · 任务冲突处理

多任务多技能学习

仿真到现实迁移（Sim2Real）

域随机化 · 系统辨识 · 仿真环境校准

Sim2Real仿真到现实迁移

机器人安全与约束

安全强化学习基础 · 约束PPO/SAC变体 · 动作限幅

机器人安全约束

训练稳定性与调试

常见训练失败模式（发散 · 震荡 · 局部最优）

训练稳定性调试

硬件在环与真机部署

从仿真到真机的流程 · 实时性要求 · 策略导出与部署

硬件真机部署

自动熵调节 · 自适应学习率 · 网络结构优化（如Transforme…

进阶技巧自动熵调节

使用PPO训练机器人导航避障 · 使用SAC训练机器人操作任务 · 完整代码解析与结果分析

案例实战PPO

常见问题与解决方案

奖励稀疏 · 探索不足 · 训练不稳定

常见问题解决方案

性能评估与基准测试

评估指标（成功率 · 平均回报 · 样本效率）

性能评估基准测试

前沿进展与扩展

基于模型的PPO/SAC · 离线强化学习 · 元学习与技能迁移

前沿进展扩展

综合项目实战

设计一个完整的机器人技能训练项目（如… · 从环境搭建到策略部署 · 综合运用PPO与SAC

综合项目实战设计一个完整的机…

课程总结与进阶路径

核心知识回顾 · 常见误区 · 学习资源推荐

课程总结进阶路径