01
NCCL基础认知
什么是NCCL · 分布式训练角色 · 与MPI区别 · 核心原语
AllReduceBroadcast
02
硬件选型与网络拓扑
A100/H100 · NVLink · InfiniBand vs RoCE · 叶脊拓扑
GPULeaf-Spine
03
操作系统与驱动环境
Ubuntu 22.04 · NVIDIA驱动 · CUDA 12.x · nvidia-smi topo
驱动CUDA
04
NCCL安装与编译
源码编译 · apt安装 · nccl-info · NCCL_DEBUG=INFO
编译环境变量
05
网络协议栈配置
RDMA内核模块 · ibverbs · IPoIB · ibstatus
RDMAInfiniBand
06
RoCE v2网络配置
DCQCN · PFC · ECN · 交换机/网卡RoCE参数
RoCE拥塞控制
07
NCCL通信域初始化
ncclCommInitAll · Unique ID · 多进程建域流程
初始化通信域
08
点对点通信实战
ncclSend/Recv · 同步异步 · CUDA Stream绑定 · 带宽测试
P2PStream
09
集合通信实战（上）
AllReduce详解 · ReduceScatter · AllGather · 调优参数
AllReduce调优
10
集合通信实战（下）
Broadcast · Reduce · All-to-All · 自定义组合
BroadcastAll-to-All
11
NCCL拓扑感知与算法选择
ncclTopo · Ring/Tree算法 · NVLink vs IB · NCCL_ALGO
拓扑Ring
12
NCCL协议选择
Simple/LL/LL128协议 · 自动选择 · NCCL_PROTO调优
协议LL128
13
NCCL网络插件（Net Plugin）
Net Plugin架构 · IB/RoCE插件 · 自定义插件入门
插件OFI
14
NCCL性能基准测试
nccl-tests · allreduce_perf · 带宽/延迟 · 多节点测试
基准测试性能
15
NCCL错误排查与调试
NCCL_DEBUG=TRACE · 错误码 · 超时处理 · 核心转储
调试错误码
16
NCCL与PyTorch DDP集成
DDP原理 · init_process_group · 梯度累积 · NCCL流交互
PyTorchDDP
17
NCCL与DeepSpeed集成
ZeRO优化器 · 通信量化 · 梯度压缩 · 混合精度
DeepSpeedZeRO
18
NCCL与Megatron-LM集成
张量并行 · 流水线并行 · 序列并行 · NCCL通信
MegatronTP/PP
19
多节点集群部署
SSH免密 · NFS/Lustre · MPI/pdsh · Slurm基础
集群Slurm
20
Slurm作业调度与NCCL
srun/gres · 拓扑映射 · 异构调度 · 作业数组
Slurm调度
21
Docker容器化NCCL环境
Container Toolkit · Dockerfile · --gpus · 多容器通信
Docker容器
22
Kubernetes与NCCL
GPU Operator · Pod通信 · HostNetwork · Volcano
K8sVolcano
23
NCCL网络性能调优
IB_TIMEOUT · GDR_LEVEL · BUFFSIZE · NCHANNELS
调优GDR
24
NCCL内存与显存管理
ncclMemAlloc · CUDA IPC · 显存碎片 · P2P_DISABLE
内存显存
25
NCCL多节点AllReduce性能分析
带宽与消息大小 · 节点内/跨节点 · NVLink+IB · 128GPU调优
AllReduce128GPU
26
NCCL故障恢复与容错
超时处理 · 异步错误 · Watchdog · 自动重启
容错Watchdog
27
NCCL监控与可观测性
nvtx/nsys · NCCL_DEBUG_SUBSYS · Prometheus+Grafana · ELK
监控Grafana
28
NCCL安全与多租户
TLS/SSL加密 · cgroup/MIG隔离 · 权限控制 · 审计
安全多租户
29
NCCL最新特性与未来趋势
Sharp · NvLink 4.0 · DPU/BlueField · CXL · 社区贡献
SharpDPU
30
综合实战：8节点64GPU集群
需求分析 · 上架 · 驱动网络 · NCCL测试 · DDP训练 · 运维手册
实战64GPU