01
吞吐瓶颈概述
什么是训练吞吐量、为什么是核心指标、常见瓶颈类型（计算/IO/通信/内存）
基础概念
02
性能分析工具链
Linux perf · NVIDIA Nsight · PyTorch Profiler · TensorBoard Profiler
工具安装
03
计算瓶颈定位
Nsight Systems识别kernel耗时 · SM利用率 · 低效算子
计算Nsight
04
IO瓶颈定位
数据加载流水线 · DataLoader · NVIDIA DALI加速
IODALI
05
通信瓶颈定位
AllReduce/AllGather · NCCL分析 · 网络带宽与延迟
通信分布式
06
内存瓶颈定位
显存不足 · 内存碎片化 · PyTorch内存分配器
内存显存
07
PyTorch Profiler实战
torch.profiler · trace文件 · 热点函数识别
Profiler实战
08
Nsight Systems实战
时间线分析 · GPU空闲区间 · CPU-GPU同步瓶颈
Nsight时间线
09
Nsight Compute实战
单kernel性能 · 计算访存比 · 指令级并行
Compute调优
10
数据加载优化
多进程DataLoader · prefetch_factor · mmap
数据加载
11
数据预处理加速
NVIDIA DALI · 图像解码/增强GPU加速
DALIGPU
12
混合精度训练
FP16/BF16原理 · AMP · 损失缩放
精度AMP
13
梯度累积
原理 · 使用时机 · Batch Size关系
梯度累积
14
梯度检查点
Gradient Checkpointing · 内存/计算权衡 · Transformer
检查点内存
15
模型并行
张量并行 · 流水线并行 · 原理与实现
并行模型
16
数据并行优化
DDP vs FSDP · sharding策略
DDPFSDP
17
通信优化
NCCL调优 · 梯度压缩 · 通信计算重叠
NCCL通信
18
算子融合
手动融合 · TorchScript/TorchDynamo/Triton · 减少launch开销
融合编译器
19
CUDA Graph
原理 · CUDAGraph捕获重放 · 减少CPU开销
CUDAGraph
20
内存优化
显存复用 · in-place · no_grad/inference_mode
内存显存
21
Batch Size调优
最优Batch Size · 显存/吞吐权衡 · 动态Batch
Batch调优
22
学习率调度与吞吐
预热 · 余弦退火 · 线性缩放法则
LR调度
23
分布式训练环境搭建
多机多卡 · InfiniBand/RoCE · NCCL环境变量
分布式环境
24
性能基准测试
基准脚本 · 控制变量 · 多次实验取均值
基准测试
25
端到端案例1：BERT
从基线到2倍加速 · 全流程优化
BERT案例
26
端到端案例2：ResNet
数据加载 + 计算瓶颈联合调优
ResNet案例
27
端到端案例3：LLaMA
模型并行 + 通信优化综合实践
LLaMA案例
28
监控与告警
Prometheus + Grafana · 吞吐量告警阈值
监控告警
29
自动化调优工具
Optuna超参数搜索 · 自动最优配置
自动Optuna
30
总结与最佳实践
通用方法论 · 常见陷阱 · 未来趋势 (3D并行/ZeRO-3)
总结趋势