VIP20
本课程属于：027-DeepSpeed AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

多机通信瓶颈诊断与梯度压缩加速

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
多机通信瓶颈诊断与梯度压缩加速的学习… · 核心概念 · 整体框架
课程导入多机通信瓶颈诊断
02
分布式训练基础
数据并行 · 模型并行 · 流水线并行
分布式训练基础数据并行
03
通信瓶颈诊断方法
性能指标（带宽 · 延迟 · 吞吐量）
通信瓶颈诊断方法性能指标
04
梯度压缩基础
梯度压缩动机 · 压缩与通信的权衡 · 无损与有损压缩
梯度压缩基础梯度压缩动机
05
梯度稀疏化技术
Top-K · Threshold · Random-K
梯度稀疏化技术Top-K
06
梯度量化技术
量化基础 · 均匀量化 · 非均匀量化
梯度量化技术量化基础
07
梯度压缩与通信原语结合
压缩 AllReduce · 压缩 AllGather · 压缩 ReduceScatter
梯度压缩通信原语结合
08
梯度压缩算法实战
在 PyTorch 中实现 Top-… · 量化压缩 · 误差补偿
梯度压缩算法实战PyTorch
09
通信瓶颈诊断实战
使用 NCCL 调试 · PyTorch Profiler 分… · 定位通信瓶颈并优化
通信瓶颈诊断实战NCCL
10
梯度压缩加速实战
在真实模型（如 ResNet · BERT）上应用梯度压缩 · 对比压缩率
梯度压缩加速实战ResNet
11
常见问题与调优
压缩率与精度权衡 · 通信与计算重叠不足 · 负载不均衡
常见问题调优
12
综合提升
多机通信瓶颈诊断与梯度压缩加速的最佳… · 未来趋势 · 课程总结与项目实战
综合提升多机通信瓶颈诊断
13
章节1
多机通信瓶颈诊断与梯度压缩加速概述 · 重要性 · 应用场景
章节1多机通信瓶颈诊断
14
章节2
分布式训练通信基础：通信模式 · 通信原语 · 通信拓扑
章节2分布式训练通信基…
15
章节3
通信瓶颈诊断工具与方法：NCCL · PyTorch Profiler · Nsight Systems
章节3NCCL
16
章节4
梯度压缩基础：压缩动机 · 压缩与通信权衡 · 无损与有损压缩
章节4梯度压缩基础
17
章节5
梯度稀疏化：Top-K · Threshold · Random-K
章节5Top-K
18
章节6
梯度量化：均匀量化 · 非均匀量化 · bit SGD
章节6梯度量化
19
章节7
梯度压缩与通信原语结合 · 压缩 AllGather · 压缩 ReduceScatter
章节7梯度压缩
20
章节8
梯度压缩算法实战 · 量化压缩 · 误差补偿
章节8梯度压缩算法实战
21
章节9
通信瓶颈诊断实战 · PyTorch Profiler 分…
章节9通信瓶颈诊断实战
22
章节10
梯度压缩加速实战：在 ResNet · BERT 上应用梯度压缩 · 对比压缩率
章节10ResNet
23
章节11
常见问题与调优：压缩率与精度权衡 · 通信与计算重叠不足 · 负载不均衡
章节11常见问题
24
章节12
综合提升：最佳实践 · 未来趋势 · 课程总结
章节12综合提升
25
章节13
项目实战
章节13项目实战
26
章节14
案例研究
章节14案例研究
27
章节15
性能评估：压缩率 · 加速比 · 模型精度
章节15性能评估
28
章节16
扩展阅读：相关论文 · 开源项目 · 工具库
章节16扩展阅读
29
章节17
课程回顾：核心知识点总结 · 学习路径建议
章节17课程回顾
30
章节18
结业项目
章节18结业项目