VIP20
本课程属于：027-DeepSpeed AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

DeepSpeed ZeRO优化三阶段精讲

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
DeepSpeed与ZeRO优化概述 · 学习目标 · 整体课程框架
课程导入DeepSpeed
02
分布式训练基础
数据并行 · 模型并行 · 流水线并行
分布式训练基础数据并行
03
ZeRO核心思想
内存冗余问题 · 分片策略 · 通信与计算权衡
ZeRO核心思想
04
ZeRO Stage 1
优化器状态分片 · 原理 · 配置参数
ZeROStage
05
ZeRO Stage 2
梯度分片 · 原理 · 与Stage 1的对比
ZeROStage
06
ZeRO Stage 3
参数分片 · 原理 · 与Stage 1/2的对比
ZeROStage
07
ZeRO-Offload与ZeRO-Infinity
CPU卸载 · NVMe卸载 · 适用场景
ZeRO-OffloadZeRO-Infinit…
08
ZeRO与混合精度训练
FP16/BF16 · 动态损失缩放 · 与ZeRO的集成
ZeRO混合精度训练
09
ZeRO与模型并行结合
张量并行 · 流水线并行 · 3D并行策略
ZeRO模型并行结合
10
ZeRO通信优化
通信量分析 · 通信重叠 · 梯度压缩
ZeRO通信优化
11
ZeRO配置详解
DeepSpeed配置JSON · 参数调优 · 常见配置模板
ZeRO配置详解
12
实战案例1
训练BERT-large · 使用ZeRO Stage 1 · 性能对比
实战案例1BERT-large
13
实战案例2
训练GPT-2 · 使用ZeRO Stage 2 · 显存与吞吐量分析
实战案例2GPT-2
14
实战案例3
训练GPT-3规模模型 · 使用ZeRO Stage 3 · 扩展性测试
实战案例3GPT-3
15
实战案例4
微调大语言模型 · 结合LoRA与ZeRO · 资源受限场景
实战案例4微调大语言模型
16
性能调优
批次大小 · 学习率 · 梯度累积
性能调优批次大小
17
常见问题与解决方案
OOM错误 · 通信瓶颈 · 收敛问题
常见问题解决方案
18
ZeRO与其它框架对比
PyTorch DDP · FSDP · Megatron-LM
ZeRO其它框架对比
19
ZeRO最新进展
ZeRO++ · 异构训练 · 自动并行
ZeRO最新进展
20
综合项目
从零构建分布式训练 pipeline · 使用ZeRO三阶段 · 完整流程
综合项目pipeline
21
模型部署与推理
ZeRO模型保存与加载 · 推理优化 · 服务化部署
模型部署推理
22
监控与日志
DeepSpeed监控工具 · 日志分析 · 性能指标解读
监控日志
23
容错与恢复
检查点机制 · 故障恢复 · 弹性训练
容错恢复
24
安全与隐私
分布式训练中的安全考虑 · 隐私保护技术
安全隐私
25
行业应用案例
NLP · CV · 推荐系统
行业应用案例NLP
26
社区与资源
DeepSpeed生态 · 开源项目 · 学习资料
社区资源
27
课程总结
核心知识点回顾 · 技能树梳理 · 下一步学习建议
课程总结核心知识点回顾
28
进阶专题1
ZeRO与MoE模型结合 · 专家并行 · 负载均衡
进阶专题1ZeRO
29
进阶专题2
ZeRO在强化学习中的应用 · 训练稳定性 · 效率提升
进阶专题2ZeRO
30
课程考核
理论测试 · 实战项目评估 · 最佳实践分享
课程考核理论测试