01
AI训练瓶颈诊断概述
什么是训练瓶颈、为什么需要诊断、诊断的整体流程与核心指标。
概念流程
02
硬件资源监控基础
CPU、GPU、内存、磁盘IO的监控工具与关键指标解读。
监控硬件
03
GPU利用率分析
nvidia-smi深度解读、GPU利用率低的原因排查、MIG与多卡场景。
GPUnvidia-smi
04
CPU瓶颈诊断
CPU绑定、数据预处理瓶颈、PyTorch DataLoader调优。
CPUDataLoader
05
内存与显存瓶颈
OOM错误分析、显存碎片化、内存泄漏检测与修复。
显存OOM
06
磁盘IO瓶颈
数据读取速度慢、IOPS与吞吐量、使用NVMe与内存映射文件。
IONVMe
07
网络通信瓶颈
分布式训练中的通信开销、NCCL调优、梯度压缩与异步通信。
网络NCCL
08
数据加载瓶颈
tf.data与DataLoader性能对比、预读取与缓存策略、数据增强加速。
数据缓存
09
模型架构瓶颈
计算密集型 vs 内存密集型、算子融合、FlashAttention等优化。
架构FlashAttention
10
框架层面瓶颈
PyTorch vs TensorFlow vs JAX性能对比、图模式与Eager模式。
框架对比
11
混合精度训练
FP16/BF16原理、AMP实现、Loss Scaling与梯度裁剪。
混合精度AMP
12
梯度累积与微批次
显存不足时的策略、梯度累积步数选择、与Batch Normalization的兼容性。
梯度累积微批次
13
编译优化
TorchScript、XLA、TVM、Triton等编译器的使用与效果对比。
编译XLA
14
算子优化
手动实现融合算子、使用cuDNN/cuBLAS最佳实践、算子替换技巧。
算子cuDNN
15
内存管理优化
显存池、梯度检查点、激活值重计算、ZeRO系列优化器。
显存ZeRO
16
分布式训练策略
数据并行、模型并行、流水线并行、张量并行的选择与配置。
分布式并行
17
通信拓扑优化
Ring AllReduce vs Tree AllReduce、通信计算重叠、梯度压缩。
通信AllReduce
18
Profiling工具使用
PyTorch Profiler、NVIDIA Nsight Systems、TensorBoard性能分析。
ProfilerNsight
19
火焰图与性能可视化
生成与分析CPU/GPU火焰图、定位热点函数。
火焰图可视化
20
自动化瓶颈检测
使用Perfetto、Holistic Trace Analysis等工具自动诊断。
自动化Perfetto
21
大规模训练案例
GPT/BERT训练中的瓶颈分析、千卡集群调优经验。
大规模GPT
22
推理部署瓶颈
ONNX Runtime、TensorRT、模型量化与剪枝对性能的影响。
推理TensorRT
23
容器化与编排优化
Docker资源限制、Kubernetes GPU调度、NUMA亲和性。
容器K8s
24
存储系统优化
分布式文件系统（Lustre/GPFS）、对象存储与缓存层设计。
存储Lustre
25
超参数与性能
Batch Size、学习率、Warmup对训练吞吐的影响。
超参数吞吐
26
实验管理瓶颈
MLflow、Weights & Biases等工具对实验效率的影响。
实验MLflow
27
代码质量与性能
Python vs C++扩展、JIT编译、避免Python全局解释器锁。
代码JIT
28
成本优化
Spot实例、弹性训练、混合云架构下的性能与成本平衡。
成本Spot
29
监控告警体系
Prometheus + Grafana搭建训练监控、自定义告警规则。
监控Grafana
30
综合实战
端到端诊断一个ResNet-50训练任务，输出优化报告与改进方案。
实战ResNet-50