VIP6

本课程属于：152-RLHF与强化学习工程 AI智能与边缘计算工程 · 共 6 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

PPO、SAC与多智能体强化学习

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · 预备知识要求

课程导入学习目标

强化学习基础

马尔可夫决策过程（MDP） · 状态 · 动作

强化学习基础MDP

策略梯度方法

策略梯度定理 · REINFORCE算法 · 基线（baseline）的作用与实现

策略梯度方法策略梯度定理

Actor-Critic架构

Actor网络与Critic网络的设… · 优势函数估计（GAE） · 方差与偏差权衡

Actor-Critic架构

PPO核心原理

PPO的动机 · 裁剪目标函数（clipped sur… · 信任区域与更新规则

PPO核心原理

PPO算法细节

PPO的两种变体（clip与KL惩罚… · 超参数选择（学习率 · clip范围

PPO算法细节

使用PPO训练连续控制任务（如MuJ… · 代码实现 · 调参经验与性能分析

PPO在离散动作空间的应用 · RNN与PPO结合处理部分可观测问题 · 分布式PPO（如IMPALA对比）

SAC核心原理

最大熵强化学习框架 · 熵正则化 · 软策略迭代（soft policy…

SAC核心原理

SAC算法细节

SAC的自动温度调节（auto te… · 双Q网络（clipped doubl… · 目标网络与延迟更新

SAC算法细节

使用SAC训练连续控制任务（如Hal… · Walker2d） · 代码实现

SAC在图像输入下的处理（CNN编码… · SAC与数据增强 · SAC在真实机器人控制中的应用案例

PPO与SAC对比

算法原理差异 · 样本效率 · 稳定性

多智能体强化学习基础

多智能体MDP（MMDP） · 部分可观测随机博弈（POSG） · 合作/竞争/混合任务分类

多智能体强化学习…MDP

多智能体学习挑战

非平稳性 · 信用分配 · 可扩展性

多智能体学习挑战非平稳性

多智能体策略梯度方法

多智能体Actor-Critic（M… · 集中训练分散执行（CTDE）范式

多智能体策略梯度…Actor-Critic

多智能体PPO（MAPPO）

MAPPO的架构设计 · 价值函数输入 · 训练技巧与在星际争霸（SMAC）等环…

多智能体SAC（MASAC）

多智能体软Actor-Critic · 熵正则化在多智能体中的扩展 · 与MAPPO的对比

多智能体价值分解方法

VDN · QMIX · QTRAN等

多智能体价值分解…VDN

多智能体通信与协调

通信协议学习（如DIAL · CommNet） · 注意力机制在多智能体中的应用

多智能体通信协调

多智能体实战

使用MAPPO或MASAC训练多智能… · SMAC） · 代码实现与调参

多智能体实战MAPPO

多智能体进阶

大规模多智能体学习（如种群训练） · 对手建模 · 元学习在多智能体中的应用

多智能体进阶大规模多智能体学…

PPO与SAC在多智能体中的变体

HAPPO · HATRPO · COMA等

常见问题与调试

训练不收敛 · 奖励设计不合理 · 超参数敏感

常见问题调试

性能优化与工程实践

并行环境采样 · 经验回放优化 · 模型保存与评估

性能优化工程实践

基于PPO的自动驾驶决策控制项目（如…

案例实战PPO

基于SAC的机器人操作任务（如机械臂… · 灵巧手操作）

案例实战SAC

多智能体协作任务（如多机器人搬运 · 无人机编队）使用MAPPO或MASA…

案例实战多智能体协作任务

设计一个结合PPO/SAC与多智能体… · 从问题定义到部署

综合项目PPO/SAC

课程总结与进阶方向

核心知识回顾 · 前沿研究方向（如离线强化学习 · 世界模型

课程总结进阶方向