VIP20

本课程属于：013-GPU调度 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

破解训练吞吐瓶颈之道

📚 共计 30 章节

吞吐瓶颈全景图

什么是训练吞吐、为什么吞吐是AI工程的核心指标、常见的吞吐瓶颈全景概览（计算、存储、网络、框架）。

全景核心指标

计算瓶颈剖析

GPU利用率低的原因分析、算子瓶颈识别、CUDA Kernel优化基础。

显存瓶颈剖析

显存不足导致OOM、显存碎片化、模型状态与优化器状态显存占用分析。

数据加载瓶颈

DataLoader原理、CPU预处理成为瓶颈、IO瓶颈与解决方案。

网络通信瓶颈

分布式训练中的通信开销、AllReduce原理、通信拓扑与带宽限制。

分布式AllReduce

框架开销瓶颈

PyTorch框架本身的调度开销、Python GIL的影响、动态图与静态图的权衡。

性能分析工具

Nsight Systems、PyTorch Profiler、TensorBoard Profiling、自定义性能打点。

算子融合（Fuse）、手写CUDA Kernel、使用FlashAttention等高效算子。

算子融合FlashAttention

混合精度训练

FP16/BF16原理、AMP自动混合精度、损失缩放（Loss Scaling）、常见踩坑。

梯度累积原理、如何设置累积步数、与Batch Size的关系、实际效果分析。

梯度累积Batch

梯度检查点

Checkpointing原理、时间换空间策略、如何选择检查点位置。

Checkpoint显存

Activation Offloading、ZeRO系列（ZeRO-1/2/3）、显存池化技术。

数据加载优化

多进程加载、内存映射（mmap）、数据预处理流水线、使用WebDataset。

数据存储优化

文件格式选择（TFRecord、MDS、S3）、数据分片与预取、缓存策略。

网络通信优化

梯度压缩、通信与计算重叠、使用NCCL参数调优、拓扑感知调度。

NCCL梯度压缩

分布式策略

数据并行（DP）、模型并行（MP）、流水线并行（PP）、张量并行（TP）。

混合并行策略

3D并行（DP+PP+TP）、序列并行、专家并行（MoE）。

TorchScript、TorchDynamo、TorchInductor、XLA编译。

计算图优化

图捕获、算子重排、内存预分配、常量折叠。

计算图内存预分配

CUDA Stream与Event、异步数据加载、异步梯度同步。

CUDA Stream异步

Batch Size调优

Batch Size与吞吐的关系、梯度噪声、学习率调度配合。

Batch Size学习率

模型架构优化

Attention机制优化、MLP优化、LayerNorm融合、激活函数选择。

AttentionLayerNorm

序列长度优化

序列填充策略、动态Batch、变长序列处理、FlashAttention对长序列的优化。

变长序列FlashAttention

GPU选型（A100/H100/B200）、CPU与内存配置、NVLink与InfiniBand。

任务调度策略、资源隔离、GPU共享与MIG、弹性训练。

MIG弹性训练

训练稳定性

Loss发散排查、梯度爆炸与梯度裁剪、NaN检测与恢复、断点续训。

梯度裁剪断点续训

实验追踪（MLflow/WandB）、配置管理、自动化调参、结果对比。

端到端案例：LLaMA

LLaMA训练吞吐优化实战、从基线到3倍加速的完整优化过程。

LLaMA3倍加速

端到端案例：Stable Diffusion

Stable Diffusion训练吞吐优化实战、显存与速度的平衡艺术。

总结与展望

吞吐优化的系统方法论、未来趋势（稀疏计算、3D堆叠、光互联）。

系统方法论未来趋势