01
通信基础：硬件拓扑与通信原语
NVLink、PCIe、InfiniBand 对比；All-Reduce、All-Gather、Reduce-Scatter 原理
拓扑原语
02
性能指标：带宽、延迟、ALP 与 Busy
理解 Bandwidth、Latency、All-Reduce 线性度，nsys/nvprof 抓取耗时
指标profiling
03
Ring All-Reduce 详解
逻辑环→物理环，Scatter-Reduce + All-Gather 两阶段，通信复杂度
Ring复杂度
04
Tree All-Reduce 详解
Ring vs Tree 带宽利用率，跨节点场景优劣分析
Tree跨节点
05
NCCL 核心概念
Comm、Stream、异步操作、同步屏障，ncclGroupStart/End 用法
NCCL同步
06
NCCL 环境变量调优
IB_DISABLE, SOCKET_IFNAME, GDR_LEVEL, MIN_NCHANNELS 实战
调优变量
07
通信与计算重叠
CUDA Stream + CUDA Graph 实现重叠，减少显式同步点
重叠CUDA
08
通信拓扑感知
基于 NVSwitch 架构优化分组，避免跨 Socket 通信
拓扑NVSwitch
09
梯度累积与通信压缩
Gradient Accumulation, Top-K 稀疏化, 量化对通信量的影响
压缩梯度
10
通信库选择：NCCL / GLOO / MPI
不同场景性能差异，根据模型规模选择后端
NCCLGLOOMPI
11
通信 Profiling 实战
nsys profile 抓取 trace，分析带宽未打满、延迟过高
profilingnsys
12
通信带宽测试：nccl-tests
All-Reduce 带宽测试，解读结果并定位性能瓶颈
nccl-tests带宽
13
通信与数据加载
DataLoader I/O 瓶颈，DALI / 异步加载缓解
I/ODALI
14
通信与显存管理
通信 Buffer 优化，P2P / IPC 减少显存拷贝
显存P2P
15
通信与模型并行
张量并行、流水线并行中的通信模式优化
模型并行TPPP
16
通信与数据并行
梯度同步策略，同步 vs 异步 SGD 通信开销
数据并行SGD
17
通信与混合精度训练
FP16/BF16 对通信量的影响，利用 FP16 压缩通信
混合精度FP16
18
通信与分布式优化器 ZeRO
ZeRO-1/2/3 通信优化减少显存，trade-off 分析
ZeRO显存
19
通信与网络协议
RDMA (InfiniBand/RoCE) vs TCP/IP，RoCE 低延迟配置
RDMARoCE
20
通信与多机多卡
跨节点瓶颈，GPUDirect RDMA 绕过 CPU 拷贝
多机GDR
21
通信与容错
超时、重试机制，NCCL 容错参数配置
容错超时
22
通信与同步策略
全局 Barrier vs 异步同步，减少同步开销
同步Barrier
23
通信与计算图优化
torch.distributed + torch.cuda.amp 自动优化
PyTorchAMP
24
通信与自定义通信算子
NCCL C API 编写自定义 All-Reduce，底层机制
自定义C API
25
通信与多任务调度
Multi-Tenant 资源隔离与 QoS 配置
多任务QoS
26
通信与虚拟化
vGPU / MIG 对通信性能的影响及优化
虚拟化MIG
27
通信与功耗优化
nvidia-smi 监控功耗，优化通信频率
功耗nvidia-smi
28
通信与故障排查
NCCL 超时、带宽不足、连接失败排查步骤
故障排查
29
通信与未来趋势
NVLink 4.0/5.0, CXL, UEC 新技术影响
未来NVLink
30
综合实战：8卡A100 调优
从 Profiling 到调优的全流程案例
实战A100