VIP8
本课程属于：024-DeepSpeed分布式训练工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

DeepSpeed模型状态分片与内存复用实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
DeepSpeed简介 · 模型状态分片与内存复用的重要性 · 整体课程框架
课程导入DeepSpeed
02
分布式训练基础
数据并行 · 模型并行 · 流水线并行
分布式训练基础数据并行
03
ZeRO技术概述
ZeRO三个阶段（优化器状态分片 · 梯度分片 · 参数分片）原理与对比
ZeRO技术概述
04
模型状态分片详解
优化器状态 · 梯度 · 参数的分片策略与通信开销分析
模型状态分片详解优化器状态
05
内存复用技术
激活检查点 · 梯度累积 · 内存池化
内存复用技术激活检查点
06
DeepSpeed配置入门
配置文件结构 · 常用参数（zero_optimiza… · offload等）解析
DeepSpeed配置入门
07
实战
单机多卡训练BERT模型 · 应用ZeRO-2与内存复用
BERT单机多卡训练
08
实战
多机多卡训练类模型 · 应用ZeRO-3与CPU offlo…
多机多卡训练
09
性能调优
通信优化 · 批大小调整 · 混合精度训练与内存复用结合
性能调优通信优化
10
常见问题与解决方案
内存溢出 · 通信瓶颈 · 训练速度慢
常见问题解决方案
11
案例研究
大规模语言模型训练中的DeepSpe…
案例研究DeepSpe
12
综合提升
自定义分片策略 · 与PyTorch FSDP对比 · 未来趋势
综合提升自定义分片策略
13
课程总结
关键知识点回顾 · 最佳实践 · 进一步学习资源
课程总结关键知识点回顾
14
DeepSpeed安装与环境配置
依赖项 · 版本兼容性 · Docker与conda环境搭建
DeepSpeed安装
15
数据加载与预处理
分布式采样器 · 数据管道优化 · 内存高效数据加载
数据加载预处理
16
模型定义与封装
使用DeepSpeed初始化模型 · 分布式检查点保存与加载
模型定义封装
17
ZeRO-Offload与ZeRO-Infinity
CPU/NVMe卸载技术 · 适用场景与性能影响
ZeRO-OffloadZeRO-Infinit…
18
混合精度训练
FP16与BF16 · 动态损失缩放 · 与ZeRO的协同工作
混合精度训练FP16
19
梯度累积与微批处理
增大有效批大小 · 内存与计算权衡
梯度累积微批处理
20
激活检查点技术
原理 · 实现方式 · 对训练速度与内存的影响
激活检查点技术原理
21
内存复用高级技巧
张量重用 · 内存池 · CUDA图捕获
内存复用高级技巧张量重用
22
通信优化
梯度压缩 · 通信重叠 · NCCL调优
通信优化梯度压缩
23
监控与调试
DeepSpeed日志 · 性能分析工具 · 内存使用监控
监控调试
24
扩展性测试
弱扩展与强扩展 · 效率评估指标
扩展性测试弱扩展
25
容错与弹性训练
检查点恢复 · 故障恢复策略
容错弹性训练
26
与其他框架集成
Hugging Face Trans… · PyTorch Lightning
其他框架集成Hugging
27
实战
训练大规模视觉Transformer…
Transformer训练大规模视觉
28
实战
微调大语言模型（如LLaMA）使用D…
LLaMA微调大语言模型
29
常见错误排查
OOM错误 · 配置错误 · 版本冲突
常见错误排查OOM
30
综合项目
端到端训练一个十亿参数模型 · 涵盖数据准备 · 训练
综合项目端到端训练一个十…