VIP20
本课程属于：027-DeepSpeed AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

显存溢出定位与ZeRO优化调优

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
显存溢出问题的背景 · 影响与课程目标 · 整体知识框架介绍
课程导入显存溢出问题的背…
02
显存基础
GPU显存架构 · 显存分配机制 · 常见显存消耗来源（模型参数
显存基础GPU
03
显存溢出定位方法
使用nvidia-smi · PyTorch显存分析工具 · 日志监控等手段定位溢出点
显存溢出定位方法nvidia-smi
04
常见显存溢出场景分析
大模型训练 · 批量大小过大 · 序列过长
常见显存溢出场景…大模型训练
05
ZeRO优化技术概述
ZeRO的核心思想 · 三个阶段（ZeRO-1 · ZeRO-2
ZeRO优化技术概述
06
ZeRO-1详解
优化器状态分区 · 通信开销 · 适用场景与配置方法
ZeRO-1优化器状态分区
07
ZeRO-2详解
梯度分区 · 与ZeRO-1的对比 · 内存节省效果与性能影响
ZeRO-2梯度分区
08
ZeRO-3详解
参数分区 · 模型并行与数据并行的结合 · 实现细节与挑战
ZeRO-3参数分区
09
ZeRO-Offload与ZeRO-Infinity
CPU卸载 · NVMe卸载技术 · 进一步扩展显存容量
ZeRO-OffloadZeRO-Infinit…
10
ZeRO与混合精度训练
FP16/BF16与ZeRO的结合 · 内存与计算权衡
ZeRO混合精度训练
11
ZeRO与模型并行、流水线并行的协同使用
综合并行策略设计
ZeRO模型并行
12
实战案例一
使用DeepSpeed配置ZeRO-… · 解决显存溢出
实战案例一DeepSpeed
13
实战案例二
使用ZeRO-3训练GPT-2 · 处理超大规模模型
实战案例二ZeRO-3
14
实战案例三
结合ZeRO-Offload在单卡上…
实战案例三ZeRO-Offload
15
性能调优
ZeRO配置参数调优（batch s… · 梯度累积 · 通信优化等）
性能调优ZeRO
16
显存溢出预防策略
模型设计 · 训练技巧 · 监控与预警
显存溢出预防策略模型设计
17
常见问题与解决方案
OOM错误排查 · 通信瓶颈 · 收敛性问题等
常见问题解决方案
18
工具与框架支持
DeepSpeed · FairScale · PyTorch FSDP等对比与选择
工具框架支持
19
分布式训练环境搭建
多机多卡配置 · 网络与存储优化
分布式训练环境搭…多机多卡配置
20
ZeRO最新进展与未来趋势
ZeRO-4 · 异构内存管理等
ZeRO最新进展
21
综合实战项目
从零开始训练一个大规模语言模型 · 应用ZeRO优化
综合实战项目从零开始训练一个…
22
显存溢出定位高级技巧
使用PyTorch Profiler · 内存快照分析
显存溢出定位高级…PyTorch
23
ZeRO与检查点保存
优化检查点策略以减少显存占用
ZeRO检查点保存
24
ZeRO在推理中的应用
显存优化推理技术
ZeRO推理
25
课程总结与回顾
关键知识点梳理 · 最佳实践总结
课程总结回顾
26
扩展学习资源
推荐论文 · 博客 · 开源项目
扩展学习资源推荐论文
27
答疑与讨论
常见疑问解答与经验分享
答疑讨论
28
课程评估
测验与项目作业 · 检验学习成果
课程评估测验
29
案例研究
工业界大规模训练案例解析
案例研究工业界大规模训练…
30
前沿探索
显存优化与ZeRO的未来研究方向
前沿探索ZeRO