第1章
压测概述
什么是多卡训练吞吐压测、为什么需要压测、核心指标（吞吐量、显存利用率、通信效率）
概念指标
第2章
环境准备
GPU驱动与CUDA安装、PyTorch分布式环境配置、NCCL通信库安装与验证
环境CUDA
第3章
硬件拓扑认知
单机多卡与多机多卡架构、NVLink与PCIe区别、GPU拓扑查看 (nvidia-smi topo -m)
硬件拓扑
第4章
分布式训练基础
数据并行 (DP/DDP)、模型并行、流水线并行、混合并行策略对比
并行策略
第5章
PyTorch DDP原理
DistributedDataParallel工作机制、进程组初始化、梯度同步流程
DDP原理
第6章
压测脚本框架
标准吞吐压测脚本结构、参数解析、数据加载器设计
脚本框架
第7章
数据加载压测
DataLoader性能调优、num_workers设置、prefetch_factor、pin_memory
DataLoader调优
第8章
模型前向耗时分析
使用torch.cuda.Event计时、分析前向传播瓶颈
前向计时
第9章
反向传播与梯度同步
反向传播耗时、梯度all-reduce通信开销、梯度累积技术
反向梯度
第10章
吞吐量计算
每秒处理样本数 (samples/s)、计算公式、多卡线性加速比
吞吐加速比
第11章
显存分析
torch.cuda.max_memory_allocated、显存峰值监控、显存碎片问题
显存监控
第12章
通信效率分析
NCCL带宽测试、all-reduce耗时、通信计算重叠
通信NCCL
第13章
混合精度压测
AMP自动混合精度、FP16/BF16训练、梯度缩放
AMP混合精度
第14章
梯度累积压测
梯度累积步数影响、等效batch size、吞吐与收敛平衡
累积batch
第15章
动态batch size压测
batch size对吞吐的影响、显存边界探索、OOM处理
batchOOM
第16章
多机压测配置
多机通信设置、RDMA与InfiniBand、多机拓扑优化
多机RDMA
第17章
压测结果记录
日志格式设计、CSV/JSON输出、关键指标记录
日志CSV
第18章
可视化分析
使用matplotlib绘制吞吐曲线、显存趋势图、加速比柱状图
可视化matplotlib
第19章
瓶颈定位方法论
从数据加载到梯度同步逐环节分析、火焰图使用
瓶颈火焰图
第20章
常见问题排查
NCCL超时、显存溢出、通信死锁、进程崩溃
排查NCCL
第21章
压测自动化
Shell脚本批量跑压测、参数网格搜索、自动生成报告
自动化Shell
第22章
模型规模影响
小模型与大模型压测差异、计算密集型vs通信密集型
模型规模计算
第23章
GPU利用率分析
nvidia-smi监控、GPU利用率低的原因排查、CPU瓶颈
GPU利用率
第24章
异步数据加载
使用torchdata、NVIDIA DALI、数据预处理流水线
异步DALI
第25章
编译优化
torch.compile使用、算子融合、内核优化
编译torch.compile
第26章
通信优化
梯度压缩、梯度分桶、通信拓扑优化
通信压缩
第27章
压测报告撰写
报告结构、关键图表、结论与建议
报告撰写
第28章
生产环境压测
集群调度 (Slurm)、容器化环境、资源隔离
生产Slurm
第29章
对比实验设计
不同框架 (PyTorch vs JAX)、不同硬件 (A100 vs H100)、不同策略
对比实验
第30章
压测最佳实践
总结常见陷阱、性能调优checklist、持续监控体系
最佳实践checklist