第1章
吞吐调优全景
为什么需要调优 · 性能瓶颈常见类型 · 调优通用方法论
全景思维
第2章
性能分析工具
nvidia-smi · Nsight Systems · PyTorch Profiler · TensorBoard
工具Profiling
第3章
数据加载优化
DataLoader原理 · num_workers调优 · prefetch_factor · 内存映射
IODataLoader
第4章
数据预处理加速
Albumentations · DALI · 异步增强 · 预处理流水线
加速DALI
第5章
模型结构优化
算子融合 · Flash Attention · 高效激活函数 · 剪枝量化基础
架构FlashAttn
第6章
混合精度训练
FP16/BF16原理 · AMP · 损失缩放 · 梯度裁剪配合
精度AMP
第7章
分布式训练基础
数据并行 · 模型并行 · 流水线并行 · 张量并行
分布式并行
第8章
分布式通信优化
NCCL/RCCL调优 · 梯度压缩 · 梯度累积 · 异步SGD
通信NCCL
第9章
显存优化
梯度检查点 · 激活值重计算 · 显存碎片 · ZeRO系列
显存ZeRO
第10章
计算图优化
JIT编译 · TorchScript · torch.compile · 静态图
编译图优化
第11章
算子优化
CUDA内核基础 · cuBLAS/cuDNN · 算子融合实战
CUDA算子
第12章
IO优化
TFRecord · WebDataset · 数据缓存 · 多级存储
IO存储
第13章
网络通信优化
RDMA · InfiniBand · TCP/IP调优 · 压缩传输
网络RDMA
第14章
GPU利用率分析
SM占用率 · 内存带宽 · 计算访存比分析
GPU利用率
第15章
Batch Size调优
最优Batch搜索 · 梯度累积 · 学习率与Batch关系
Batch调参
第16章
学习率调度
Warmup · 余弦退火 · 循环学习率 · 自适应LR
LR调度
第17章
优化器选择
SGD · AdamW · LAMB · LARS 原理与吞吐影响
优化器LAMB
第18章
梯度累积与同步
累积步数选择 · 异步梯度同步 · 重叠计算通信
梯度同步
第19章
数据并行扩展
Ring All-Reduce · Tree All-Reduce · 分层All-Reduce
AllReduce并行
第20章
模型并行实战
张量并行(Megatron) · 流水线并行(GPipe/1F1B)
模型并行Megatron
第21章
序列并行
序列切分 · 注意力优化 · 长序列训练技巧
序列长上下文
第22章
专家并行
MoE架构 · 负载均衡 · 专家容量与通信优化
MoE稀疏
第23章
编译优化
XLA · TVM · Triton编译器对比与选择
编译Triton
第24章
内存管理
CUDA内存池 · 内存预分配 · 内存复用策略
内存CUDA
第25章
异步执行
CUDA Stream · 异步数据加载 · 计算通信重叠
异步Stream
第26章
Profiling实战
火焰图分析 · 瓶颈定位 · 性能回归测试
Profiling火焰图
第27章
大规模训练案例
GPT / BERT / Llama 吞吐优化实战
案例LLM
第28章
多机多卡训练
集群拓扑 · 数据分布 · 故障恢复
多机容错
第29章
自动调优
AutoTune · HPO · 贝叶斯优化在吞吐调优中的应用
自动调优HPO
第30章
调优总结与最佳实践
调优检查清单 · 常见陷阱 · 持续监控体系
总结最佳实践