01
GPU集群基础认知
GPU架构演进 · 集群拓扑结构 · 通信协议简介
架构拓扑
02
压测工具选型
nccl-tests · DeepSpeed · Megatron-LM 对比
选型对比
03
环境准备
NVIDIA驱动 · CUDA Toolkit · Docker 环境搭建
环境Docker
04
NCCL 基础
NCCL 核心概念 · Ring AllReduce 原理
NCCL原理
05
nccl-tests 编译与运行
源码下载 · 编译参数 · 基础带宽测试
编译带宽
06
单机多卡压测
单机8卡 NVLink 带宽测试与瓶颈分析
NVLink瓶颈
07
多机多卡压测
跨节点 InfiniBand/RoCE 网络测试
IBRoCE
08
通信模式详解
AllReduce · AllGather · ReduceScatter 实测
集合通信
09
消息大小对性能的影响
小消息延迟 vs 大消息带宽
延迟带宽
10
拓扑感知与亲和性
GPU 绑定 · NUMA 节点优化
NUMA亲和性
11
网络协议调优
RoCE 流控 · IB 自适应路由 · 拥塞控制
流控路由
12
NCCL 环境变量调优
NCCL_IB_DISABLE · NCCL_NET_GDR_LEVEL 等
环境变量
13
性能监控与采集
nvidia-smi · dcgm · perf 工具链
监控工具
14
日志分析与错误排查
NCCL 调试日志 · 超时与异常处理
日志排错
15
多租户场景压测
MIG 分区 · 时间片调度下的性能隔离
MIG隔离
16
存储与计算协同
数据加载 I/O 对训练吞吐的影响
I/O吞吐
17
混合精度训练压测
FP16/BF16 下的通信带宽变化
混合精度
18
模型并行策略压测
张量并行 · 流水线并行 · 数据并行对比
并行策略
19
大规模集群压测
千卡规模下的线性度与扩展效率
千卡扩展性
20
压测报告生成
数据采集 · 可视化 · 关键指标解读
报告可视化
21
常见瓶颈定位
PCIe 带宽瓶颈 · CPU 负载过高 · 网络丢包
瓶颈定位
22
硬件故障排查
GPU 掉卡 · 链路降速 · 内存 ECC 错误
硬件故障
23
容器化压测
Kubernetes 集群中的 GPU 压测实践
K8s容器
24
云上 GPU 实例压测
AWS p4d · Azure NDv4 实测对比
云对比
25
自定义压测脚本
基于 PyTorch 的分布式通信 Benchmark
PyTorch脚本
26
压测自动化框架
CI/CD 集成 · 定时巡检 · 告警联动
自动化CI/CD
27
性能基线建立
不同规模下的参考指标与波动范围
基线指标
28
压测安全与合规
数据隔离 · 权限控制 · 审计日志
安全合规
29
前沿技术探索
NVLink Switch · CXL · UEC 对未来压测的影响
前沿CXL
30
综合实战案例
从零搭建 256 卡集群压测体系
实战256卡