所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

PPO与RLHF大模型对齐训练

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 对齐训练的背景与意义
课程导入学习目标
02
大模型基础与对齐概述
预训练 · 微调 · 对齐的区别
大模型基础对齐概述
03
强化学习基础
马尔可夫决策过程 · 策略 · 奖励
强化学习基础马尔可夫决策过程
04
策略梯度与Actor-Critic
REINFORCE · A2C/A3C · GAE优势估计
Actor-Critic策略梯度
05
PPO核心原理
Clipped目标函数 · 重要性采样 · 信任区域约束
PPO核心原理
06
PPO算法细节
PPO-Penalty与PPO-Cl… · 超参数（clip范围 · 学习率
PPO算法细节
07
RLHF整体流程
预训练模型 · SFT · 奖励模型训练
RLHF整体流程
08
奖励模型（Reward Model）训练
数据构建 · 排序损失 · 训练技巧
RewardModel
09
参考模型与KL散度
KL惩罚的作用 · 如何平衡探索与稳定性
KL参考模型
10
PPO在RLHF中的具体实现
Actor · Critic · Reference Model
PPORLHF
11
RLHF数据准备
提示词采样 · 人类反馈收集 · 数据清洗与去重
RLHF数据准备
12
RLHF训练环境搭建
框架选择（TRL · DeepSpeed · Ray）
RLHF训练环境搭建
13
PPO训练中的稳定性问题
奖励 hacking · 模式崩溃 · 梯度爆炸
PPO训练
14
PPO超参数调优
学习率 · clip范围 · KL系数
PPO超参数调优
15
RLHF中的奖励设计
奖励缩放 · 奖励归一化 · 多任务奖励组合
RLHF奖励设计
16
PPO与RLHF的变体
DPO · IPO · KTO
PPORLHF
17
RLHF的评估方法
自动评估 · 人工评估 · 对齐度指标（如Helpful/Har…
RLHF的评估方法
18
案例实战
使用TRL库实现一个简单的RLHF训…
案例实战TRL
19
案例实战
基于DeepSpeed-Chat训练…
案例实战DeepSpeed-Ch…
20
案例实战
从零实现PPO算法用于语言模型对齐（…
案例实战PPO
21
案例实战
处理RLHF训练中的奖励模型过拟合问…
案例实战RLHF
22
常见问题与调试
loss不下降 · 生成质量差 · 训练崩溃的排查
常见问题调试
23
RLHF的算力优化
混合精度 · 梯度累积 · 模型并行
RLHF的算力优化
24
RLHF的扩展
多轮对话 · 长文本生成 · 多模态对齐
RLHF的扩展
25
RLHF的安全与伦理
偏见消除 · 有害内容抑制 · 红队测试
RLHF的安全
26
RLHF与人类价值观对齐
宪法AI · 可扩展监督 · 迭代对齐
RLHF人类价值观对齐
27
PPO与RLHF的数学推导
目标函数 · 梯度推导 · 收敛性分析
PPORLHF
28
RLHF的工程化
训练监控 · checkpoint管理 · 实验追踪
RLHF的工程化
29
前沿进展
RLHF与LLM的自我改进 · AI反馈（RLAIF）
前沿进展RLHF
30
综合项目
设计并完成一个端到端的RLHF对齐训… · 包含数据 · 训练
综合项目RLHF