第1章
NCCL全景概览
什么是NCCL · 分布式训练角色 · vs MPI/Gloo · 核心原语
AllReduceBroadcast
第2章
硬件基础与网络拓扑
NVLink/NVSwitch · IB/RoCE · PCIe影响 · NUMA亲和性
拓扑NVLink
第3章
NCCL安装与编译
源码编译 · apt/yum · nccl-tests验证 · 问题排查
安装nccl-tests
第4章
NCCL环境变量详解
NCCL_DEBUG · IB_DISABLE · GDR_LEVEL · MIN_NCHANNELS
调优环境变量
第5章
单机多卡通信优化
NVLink拓扑感知 · Ring/Tree算法 · commInitRank · 带宽测试
单机Ring
第6章
多机多卡通信基础
InfiniBand/RoCEv2 · GDR原理 · 双环/多环 · 跨节点带宽
多机GDR
第7章
NCCL与PyTorch DDP集成
torch.distributed · NCCL后端 · DDP原理 · AllReduce梯度同步
PyTorchDDP
第8章
NCCL与Horovod集成
Horovod架构 · hvd.DistributedOptimizer · 融合通信 · 性能对比
Horovod融合
第9章
NCCL与DeepSpeed集成
ZeRO优化器 · ZeRO-1/2/3通信 · 梯度分桶 · 通信重叠
DeepSpeedZeRO
第10章
通信瓶颈诊断工具
nsys · ncu · NCCL profiling接口 · 通信时间分析
nsysprofiling
第11章
AllReduce性能调优
Ring vs Tree vs NVLink · buffer大小 · 多stream并行
AllReduce调优
第12章
AllGather与ReduceScatter优化
带宽最优算法 · 流水线设计 · 模型并行结合
AllGatherReduceScatter
第13章
通信计算重叠技术
异步通信 · CUDA Stream · bucket策略 · gradient accumulation
重叠stream
第14章
网络拥塞控制与QoS
DCQCN · ECN/PFC · NCCL拥塞控制 · 调优案例
拥塞控制QoS
第15章
拓扑感知通信调度
NCCL_TOPO_FILE · 环形构建 · 多环负载均衡 · 拓扑AllReduce
拓扑感知调度
第16章
NCCL图优化与自动调优
通信图构建 · NCCL_ALGO/PROTO · AUTO_TUNE · 手动干预
图优化自动调优
第17章
大规模集群通信挑战
万卡集群 · 多rail · 跨交换机不对称 · fat-tree优化
大规模fat-tree
第18章
NCCL容错与恢复
同步机制 · 节点故障 · checkpoint/restart · watchdog
容错checkpoint
第19章
混合精度训练中的通信
FP16/BF16带宽 · 梯度压缩 · 精度损失 · NCCL FP16支持
混合精度FP16
第20章
NCCL与模型并行 (TP)
TP通信模式 · TP/DP重叠 · P2P通信优化
Tensor ParallelP2P
第21章
NCCL与流水线并行 (PP)
P2P send/recv · 1F1B调度 · PP/DP混合通信
Pipeline Parallel1F1B
第22章
NCCL与序列并行 (SP)
SP通信模式 · Ring Attention · SP/DP/TP组合
Sequence ParallelRing Attention
第23章
NCCL与专家并行 (MoE)
All-to-All通信 · AllToAll原语 · top-k gating · 瓶颈分析
MoEAll-to-All
第24章
共享内存与NVLink优化
NVLink带宽 · SHM_DISABLE · NVLink/PCIe混合
NVLink共享内存
第25章
NCCL的RDMA优化
RoCEv2 PFC/ECN · IB adaptive routing · GDR vs GDR Copy
RDMARoCE
第26章
集合通信库扩展
插件机制 · 自定义算法 · MSCCL集成 · 通信调度器
扩展MSCCL
第27章
NCCL性能基准测试
nccl-tests详解 · 带宽/延迟测量 · 多节点脚本 · 结果分析
基准测试nccl-tests
第28章
案例：GPT-3训练调优
175B通信模式 · TP+PP+DP组合 · 调优参数 · 性能数据
GPT-3实战
第29章
案例：LLaMA训练调优
65B通信模式 · FSDP+NCCL · 通信/计算比例 · 调优经验
LLaMAFSDP
第30章
NCCL未来趋势与总结
Roadmap · NVLink 5.0 · CUDA Graphs · 最佳实践
趋势总结