VIP20
本课程属于：027-DeepSpeed AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

DeepSpeed训练优化技术概览

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
DeepSpeed概述 · 学习目标 · 课程结构
课程导入DeepSpeed
02
深度学习训练基础
模型训练流程 · 计算图 · 反向传播
深度学习训练基础模型训练流程
03
分布式训练基础
数据并行 · 模型并行 · 流水线并行
分布式训练基础数据并行
04
DeepSpeed核心架构
ZeRO优化器 · ZeRO-Offload · ZeRO-Infinity
DeepSpeed核心架构
05
ZeRO技术详解
ZeRO Stage 1/2/3 · 内存优化原理 · 参数分区
ZeRO技术详解
06
混合精度与量化
FP16 · BF16 · 动态损失缩放
混合精度量化
07
梯度累积与微批处理
梯度累积原理 · 微批处理 · 内存与吞吐量平衡
梯度累积微批处理
08
通信优化
通信重叠 · 梯度压缩 · 通信调度
通信优化通信重叠
09
DeepSpeed配置与使用
JSON配置文件 · 命令行参数 · 模型并行配置
DeepSpeed配置
10
数据加载与预处理
数据管道 · 数据并行采样 · 数据加载优化
数据加载预处理
11
模型并行与流水线并行
层划分 · 张量并行 · 流水线并行调度
模型并行流水线并行
12
ZeRO-Offload与ZeRO-Infinity
CPU卸载 · NVMe卸载 · 内存层次结构
ZeRO-OffloadZeRO-Infinit…
13
混合并行实战
结合数据并行 · 模型并行 · 流水线并行
混合并行实战结合数据并行
14
训练性能调优
吞吐量优化 · 内存优化 · 计算通信重叠
训练性能调优吞吐量优化
15
大规模训练案例
GPT-3 · BERT · T5等大模型训练案例
大规模训练案例GPT-3
16
常见问题与调试
内存溢出 · 通信错误 · 配置错误
常见问题调试
17
与其他框架集成
PyTorch · Hugging Face Trans… · Megatron-LM
其他框架集成PyTorch
18
DeepSpeed推理优化
推理引擎 · 模型压缩 · 量化推理
DeepSpeed推理优化
19
课程总结与展望
核心知识点回顾 · 最佳实践 · 未来发展趋势
课程总结核心知识点回顾
20
实战项目一
使用DeepSpeed训练小型Tra… · 配置ZeRO Stage 2 · 完成训练与评估
实战项目一DeepSpeed
21
实战项目二
使用DeepSpeed训练BERT模… · 应用混合精度与梯度累积 · 优化训练速度
实战项目二DeepSpeed
22
实战项目三
使用DeepSpeed训练GPT模型 · 配置ZeRO Stage 3与Off… · 处理大规模参数
实战项目三DeepSpeed
23
实战项目四
使用DeepSpeed进行模型并行与… · 实现超大规模模型训练
实战项目四DeepSpeed
24
实战项目五
使用DeepSpeed进行推理优化 · 部署量化模型 · 测试推理性能
实战项目五DeepSpeed
25
性能分析与调优实战
使用DeepSpeed Profil… · Nsight Systems等工具分…
性能分析调优实战
26
分布式训练故障排查
常见错误分析 · 网络问题 · 硬件故障
分布式训练故障排…常见错误分析
27
DeepSpeed高级特性
稀疏注意力 · MoE · 课程学习
DeepSpeed高级特性
28
行业应用与案例研究
自然语言处理 · 计算机视觉 · 语音识别
行业应用案例研究
29
课程回顾与知识体系构建
核心概念梳理 · 技术路线图 · 学习路径建议
课程回顾知识体系构建
30
综合提升与前沿探索
最新研究进展 · DeepSpeed生态 · 社区资源
综合提升前沿探索