01
NCCL概述
什么是NCCL，在分布式训练中的角色，核心通信模式 (AllReduce, AllGather, ReduceScatter, Broadcast)
基础通信模式
02
环境准备
NCCL安装与版本选择，CUDA/GPU驱动兼容性，nccl-tests源码编译
安装兼容性
03
nccl-tests基础
all_reduce_perf工具，命令行参数 (-b, -e, -f, -g, -w, -n)，理解带宽与延迟
工具参数
04
单机多卡测试
单节点GPU拓扑 (NVLink/PCIe)，运行all_reduce_perf，解读algbw, busbw
单机NVLink
05
多机多卡测试
多节点网络拓扑 (InfiniBand/RoCE)，NCCL环境变量，跨节点测试
多机网络
06
带宽瓶颈分析
PCIe/NVLink/网络带宽瓶颈，CPU与内存瓶颈
性能瓶颈
07
NCCL环境变量调优
NCCL_ALGO, NCCL_PROTO, NCCL_BUFFSIZE, NCCL_NTHREADS
调优环境变量
08
NCCL拓扑检测
nccl-topo工具，GPU拓扑文件，手动指定拓扑 (NCCL_TOPO_FILE)
拓扑检测
09
NCCL错误排查
常见错误码，超时/连接失败/资源不足问题
调试错误
10
NCCL与网络协议
InfiniBand vs RoCE vs TCP，GDR原理，NCCL_IB_QPS_PER_CONNECTION
网络GDR
11
NCCL与NVLink
NVSwitch/全互联拓扑，NVLink带宽测试，混合场景
NVLink拓扑
12
NCCL与共享内存
共享内存通信原理 (P2P)，NCCL_P2P_DISABLE, NCCL_SHM_DISABLE
共享内存P2P
13
NCCL与多进程
MPI+NCCL，torch.distributed，多进程通信组管理
MPI多进程
14
NCCL性能剖析工具
PROFILING机制，NCCL_DEBUG=INFO，NCCL_DEBUG_SUBSYS
剖析DEBUG
15
NCCL与Nsight Systems
Nsys trace通信，分析通信与计算重叠，识别瓶颈
Nsys可视化
16
NCCL与Nsight Compute
Profiling NCCL kernel，分析执行效率，优化参数
NcuKernel
17
NCCL与DLProf
DLProf for PyTorch，分析分布式训练，识别通信热点
DLProfPyTorch
18
NCCL与TensorBoard
NCCL metrics导出，TensorBoard可视化，对比配置
TensorBoard可视化
19
NCCL与自定义通信
group/communicator，自定义通信组，点对点 Send/Recv
自定义P2P
20
集合通信优化
Ring vs Tree AllReduce，Double Binary Tree，NCCL_ALGO
算法Ring
21
NCCL与梯度压缩
梯度压缩原理，与压缩通信结合，通信计算平衡
压缩通信
22
NCCL与异步通信
ncclGroupStart/End，非阻塞通信，通信与计算重叠
异步非阻塞
23
NCCL与多流
CUDA stream与NCCL，多流并发通信，stream同步策略
多流并发
24
NCCL与内存管理
ncclMemAlloc，固定内存 (pinned memory)，内存池优化
内存池
25
NCCL与容错
故障恢复机制，NCCL_ABORT_ON_ERROR，COMM_FAILURE_HANDLING
容错可靠性
26
NCCL与虚拟化
容器 (Docker/K8s)，vGPU，MIG
容器虚拟化
27
NCCL与多租户
多任务共享GPU，隔离机制，NCCL_CROSS_NIC, NET_SHARED_BUFFERS
多租户隔离
28
NCCL与异构计算
AMD ROCm, Intel oneAPI, 华为昇腾
异构跨平台
29
性能基准测试
设计基准方案，自动化测试脚本，性能报告生成
基准自动化
30
实战案例
大模型 (GPT/LLaMA) 通信优化，MoE 通信，数据/模型并行策略
实战大模型