VIP20
本课程属于：027-DeepSpeed AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

DeepSpeed分布式训练全景通识

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
分布式训练的必要性 · DeepSpeed简介 · 学习目标与整体框架
课程导入分布式训练的必要…
02
分布式训练基础
数据并行 · 模型并行 · 流水线并行
分布式训练基础数据并行
03
DeepSpeed核心概念
ZeRO优化器 · ZeRO-Offload · ZeRO-Infinity
DeepSpeed核心概念
04
DeepSpeed环境搭建
安装配置 · 依赖管理 · 硬件要求与快速入门示例
DeepSpeed环境搭建
05
数据并行与ZeRO
ZeRO Stage 1/2/3原理 · 内存优化机制 · 通信开销分析
ZeRO数据并行
06
模型并行与流水线并行
张量并行 · 流水线并行调度 · Micro-batch与梯度累积
模型并行流水线并行
07
混合精度训练
FP16/BP16原理 · Loss Scaling · 动态损失缩放与数值稳定性
混合精度训练FP16/BP16
08
DeepSpeed配置详解
JSON配置文件 · 优化器参数 · 调度器
DeepSpeed配置详解
09
训练流程与实战
数据加载 · 模型定义 · 训练循环
训练流程数据加载
10
性能调优与监控
吞吐量优化 · 内存瓶颈分析 · DeepSpeed Profiler…
性能调优监控
11
大规模模型训练案例
GPT类模型 · BERT类模型 · 推荐系统模型的DeepSpeed实践
大规模模型训练案…GPT
12
常见问题与解决方案
OOM错误 · 通信失败 · 收敛问题
常见问题解决方案
13
高级特性
稀疏注意力 · MoE模型训练 · 课程学习
高级特性稀疏注意力
14
与其他框架集成
PyTorch Lightning · Hugging Face Trans… · Megatron-LM
其他框架集成PyTorch
15
分布式训练最佳实践
超参数调优 · 故障恢复 · 弹性训练
分布式训练最佳实…超参数调优
16
综合项目实战
从零构建基于DeepSpeed的分布…
综合项目实战DeepSpeed
17
课程总结与展望
知识回顾 · 未来趋势 · 进一步学习资源
课程总结知识回顾
18
章节练习
数据并行与ZeRO的配置实验
章节练习ZeRO
19
章节练习
模型并行与流水线并行的实现
章节练习模型并行
20
章节练习
混合精度训练与性能调优
章节练习混合精度训练
21
章节练习
大规模模型训练案例复现
章节练习大规模模型训练案…
22
章节练习
常见问题排查与解决
章节练习常见问题排查
23
章节练习
高级特性应用
章节练习高级特性应用
24
章节练习
框架集成实践
章节练习框架集成实践
25
章节练习
最佳实践与弹性训练
章节练习最佳实践
26
章节练习
综合项目设计与实现
章节练习综合项目设计
27
章节练习
性能基准测试与对比
章节练习性能基准测试
28
章节练习
分布式训练调试技巧
章节练习分布式训练调试技…
29
章节练习
模型部署与推理优化
章节练习模型部署
30
课程结业项目
完整分布式训练解决方案设计与展示
课程结业项目完整分布式训练解…