VIP8
本课程属于：024-DeepSpeed分布式训练工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大模型训练吞吐量瓶颈诊断与调优

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
大模型训练吞吐量的重要性 · 常见瓶颈类型 · 课程整体框架与学习目标
课程导入大模型训练吞吐量…
02
基础概念
吞吐量 · 延迟 · 利用率
基础概念吞吐量
03
硬件基础
GPU架构 · 显存带宽 · 计算单元
硬件基础GPU
04
软件栈概览
CUDA · cuDNN · NCCL
软件栈概览CUDA
05
瓶颈诊断方法论
自顶向下分析 · 性能剖析工具（Nsight Syst… · Nsight Compute
瓶颈诊断方法论自顶向下分析
06
数据加载与预处理瓶颈
数据管道设计 · I/O优化 · 数据增强加速
数据加载预处理瓶颈
07
计算瓶颈
算子优化 · 混合精度训练 · Tensor Core利用
计算瓶颈算子优化
08
显存瓶颈
显存占用分析 · 激活重计算 · 梯度累积
显存瓶颈显存占用分析
09
通信瓶颈
集合通信原理 · NCCL调优 · 通信与计算重叠
通信瓶颈集合通信原理
10
并行策略
数据并行 · 模型并行 · 流水线并行
并行策略数据并行
11
分布式训练框架
DeepSpeed · Megatron-LM · FairScale
分布式训练框架DeepSpeed
12
超参数调优
批次大小 · 学习率 · 梯度累积步数对吞吐量和收敛的影响
超参数调优批次大小
13
编译优化
TorchScript · XLA · TVM
编译优化TorchScript
14
集群与调度
多机多卡环境配置 · 网络拓扑 · 作业调度器（Slurm
集群调度
15
监控与日志
实时监控指标 · 日志分析 · 瓶颈预警系统的搭建
监控日志
16
案例实战一
单机多卡训练吞吐量瓶颈诊断与优化（如…
案例实战一单机多卡训练吞吐…
17
案例实战二
大规模语言模型训练吞吐量优化（如GP…
案例实战二GP
18
案例实战三
推荐系统模型训练吞吐量提升（如DCN · DeepFM）
案例实战三DCN
19
案例实战四
计算机视觉模型训练吞吐量调优（如Vi… · Swin Transformer）
案例实战四Vi
20
常见问题与解决方案
OOM · 通信超时 · 负载不均衡
常见问题解决方案
21
性能基准测试
MLPerf · DLPerf等基准介绍与自定义基准测…
性能基准测试MLPerf
22
成本优化
在保证吞吐量的前提下降低训练成本（S… · 混合精度 · 模型压缩）
成本优化保证吞吐量的前提…
23
前沿技术
MoE · 稀疏训练 · 联邦学习
前沿技术MoE
24
自动化调优
AutoML · 超参搜索 · 强化学习在吞吐量优化中的应用
自动化调优AutoML
25
绿色AI
能效比优化 · 碳足迹追踪与可持续训练
AI绿色
26
综合提升一
从零构建高性能训练管道的最佳实践
综合提升一从零构建高性能训…
27
综合提升二
跨平台（NVIDIA · AMD · TPU）吞吐量优化对比与迁移策略
综合提升二NVIDIA
28
综合提升三
大规模训练中的故障恢复与弹性伸缩对吞…
综合提升三大规模训练
29
综合提升四
未来趋势与挑战：万亿参数模型 · 异构计算 · 光互联等
综合提升四未来趋势
30
课程总结
关键知识点回顾 · 调优 checklist · 进一步学习资源推荐
课程总结关键知识点回顾