01
GPU集群压测概述
为什么需要压测 · 核心指标（吞吐量/延迟/利用率）· 常见误区
概念指标
02
压测环境搭建
硬件选型(A100/H100) · 驱动/CUDA · NCCL库 · Docker
环境安装
03
基准测试工具
nvidia-smi深度 · dcgmproftester · SMI Query · GPU Burn
工具监控
04
网络压测基础
IB vs RoCEv2 · ib_write_bw · ib_send_lat
网络带宽
05
集合通信库NCCL
NCCL原理 · allreduce/allgather/reducescatter · nccl-tests
通信NCCL
06
单机多卡压测
GPU拓扑 · NVLink/NVSwitch · P2P Bandwidth Test
单机NVLink
07
多机多卡压测
跨节点通信 · Ring vs Tree AllReduce · 多机NCCL
多机AllReduce
08
分布式训练框架压测
PyTorch DDP · Horovod · DeepSpeed
框架DDP
09
数据加载压测
DataLoader瓶颈 · IO带宽 · 内存/显存带宽
IODataLoader
10
压测脚本编写
Shell自动化 · Python多线程 · Prometheus集成
脚本自动化
11
吞吐量指标详解
Samples/sec · Tokens/sec · TFLOPs利用率 · MFU
吞吐MFU
12
延迟指标详解
P50/P95/P99 · 端到端延迟 · 通信延迟分解
延迟分位
13
资源利用率监控
GPU/显存/PCIe/网络/CPU利用率
监控利用率
14
性能瓶颈定位
CPU/GPU/网络/IO/内存瓶颈
瓶颈定位
15
NVIDIA工具链
Nsight Systems · Nsight Compute · DLProf
工具NVIDIA
16
网络拓扑优化
Fat-Tree · Dragonfly · Torus · 部署案例
拓扑网络
17
通信优化技术
梯度压缩/累积 · 异步通信 · Overlap计算通信
优化通信
18
混合精度压测
FP16/BF16/FP8 · Tensor Core利用率 · 吞吐对比
混合精度FP8
19
模型并行压测
张量/流水线/序列/Expert并行
模型并行MoE
20
数据并行压测
DP vs DDP vs FSDP · ZeRO 1/2/3 · Sharded DP
数据并行ZeRO
21
大规模集群压测
千卡/万卡 · 线性扩展比测试
大规模扩展性
22
压测报告生成
自动化报告 · Matplotlib/Plotly · PDF生成
报告可视化
23
异常处理与容错
节点故障 · 通信超时 · Checkpoint恢复 · 弹性训练
容错弹性
24
压测最佳实践
预热 · 批次调优 · 学习率调度 · 梯度裁剪
实践调优
25
实际案例1：LLaMA 70B
训练压测 · 吞吐优化 1000→1500 samples/s
LLaMA案例
26
实际案例2：Stable Diffusion
训练压测 · 显存优化 · 通信优化
SD显存
27
实际案例3：BERT Large
混合精度调优 · 数据加载优化
BERT调优
28
压测自动化平台
Kubernetes · SLURM · MLflow实验跟踪
平台K8s
29
成本优化
Spot实例 · 弹性伸缩 · 性价比 · TCO
成本Spot
30
未来趋势
PCIe 6.0 · CXL · 超以太网 · 量子计算影响
前沿趋势