VIP20
本课程属于：027-DeepSpeed AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大规模梯度累积与通信重叠优化提升

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
大规模梯度累积与通信重叠优化的背景 · 学习目标 · 整体知识框架
课程导入大规模梯度累积
02
分布式训练基础
数据并行 · 模型并行 · 流水线并行
分布式训练基础数据并行
03
梯度累积原理
小批量拆分 · 累积步数 · 等效批量大小
梯度累积原理小批量拆分
04
通信重叠核心概念
计算通信重叠 · 流水线气泡 · 同步与异步通信
通信重叠核心概念计算通信重叠
05
大规模训练挑战
显存瓶颈 · 通信带宽限制 · 扩展效率
大规模训练挑战显存瓶颈
06
梯度累积实现方法
PyTorch 梯度累积 · DeepSpeed 梯度累积 · Horovod 梯度累积
梯度累积实现方法PyTorch
07
通信重叠实现技术
CUDA 流 · NCCL 通信 · 计算图切分
通信重叠实现技术CUDA
08
梯度累积与通信重叠结合
累积步内重叠 · 跨步重叠 · 梯度同步延迟
梯度累积通信重叠结合
09
性能分析与调优
通信时间占比 · 计算利用率 · 吞吐量
性能分析调优
10
实战案例一
单机多卡梯度累积与通信重叠优化
实战案例一单机多卡梯度累积
11
实战案例二
多机多卡大规模训练通信重叠优化
实战案例二多机多卡大规模训…
12
实战案例三
基于 DeepSpeed 的梯度累积…
实战案例三DeepSpeed
13
实战案例四
基于 Megatron-LM 的通信…
实战案例四Megatron-LM
14
常见问题与解决方案
梯度累积导致训练不稳定 · 通信重叠不生效 · 显存溢出
常见问题解决方案
15
高级优化技巧
梯度压缩 · 稀疏通信 · 异步更新
高级优化技巧梯度压缩
16
综合提升
端到端大规模训练系统设计 · 性能评估 · 未来趋势
综合提升端到端大规模训练…
17
课程总结
核心知识点回顾 · 最佳实践 · 进一步学习资源
课程总结核心知识点回顾
18
梯度累积的数学等价性
与大批量训练的等价条件 · 学习率调整策略
梯度累积的数学等…大批量训练的等价…
19
通信重叠的硬件基础
NVLink · InfiniBand · RDMA
通信重叠的硬件基…NVLink
20
梯度累积中的批归一化处理
同步批归一化 · 虚拟批归一化
梯度累积批归一化处理
21
通信重叠中的梯度分桶策略
桶大小选择 · 分桶与计算重叠
通信重叠梯度分桶策略
22
混合精度训练与梯度累积
损失缩放 · 梯度裁剪 · 溢出处理
混合精度训练梯度累积
23
梯度累积与通信重叠的调试工具
Nsight Systems · PyTorch Profiler · NCCL 调试
梯度累积通信重叠的调试工…
24
大规模集群上的通信优化
拓扑感知 · 通信调度 · 拥塞控制
大规模集群上的通…拓扑感知
25
梯度累积与通信重叠的扩展性分析
强扩展与弱扩展 · 效率评估
梯度累积通信重叠的扩展性…
26
案例实战五
基于 PyTorch 的梯度累积与通…
案例实战五PyTorch
27
案例实战六
基于 Horovod 的通信重叠优化
案例实战六Horovod
28
案例实战七
基于 FairScale 的梯度累积…
案例实战七FairScale
29
前沿进展
ZeRO 优化 · FSDP · 通信压缩与重叠的最新研究
前沿进展ZeRO
30
综合项目
设计并实现一个支持大规模梯度累积与通…
综合项目设计并实现一个支…