01
NCCL概述
什么是NCCL，核心价值，分布式训练角色，与MPI区别
概念入门
02
NCCL架构解析
通信原语(AllReduce/AllGather等)，拓扑感知，Ring/Tree/NVLink
架构算法
03
环境准备
硬件选型(GPU/网卡/交换机)，OS驱动，CUDA与NCCL版本匹配
硬件配置
04
NCCL安装与编译
源码编译，apt/yum安装，验证安装成功
安装编译
05
NCCL环境变量详解
NCCL_DEBUG, NCCL_IB_DISABLE, NCCL_SOCKET_IFNAME等调优变量
调优环境变量
06
单机多卡通信测试
nccl-tests带宽测试，总线带宽与算法带宽，性能瓶颈分析
测试单机
07
多机网络配置
InfiniBand/RoCEv2，IPoIB与eRDMA，MTU与流控设置
网络配置
08
多机通信测试
跨节点nccl-tests，排查延迟与带宽，跨机通信挑战
多机性能
09
NCCL拓扑检测
nccl-topo, nvidia-smi topo，GPU亲和性与PCIe拓扑
拓扑检测
10
通信瓶颈定位
NCCL_DEBUG=INFO/WARN/TRACE，日志分析，慢节点/链路定位
调试瓶颈
11
性能Profiling工具
Nsight Systems, NCCL Profiling，通信时间线，计算通信重叠
Profiling工具
12
网络瓶颈排查
ibdiagnet, perftest，IB链路误码率与重传检查
网络排查
13
PCIe瓶颈排查
nvidia-smi, pciutils，链路宽度/速率，降速定位
PCIe硬件
14
CPU与内存瓶颈
CPU亲和性，NUMA节点，内存带宽，避免CPU瓶颈
CPU内存
15
NCCL算法选择
Ring vs Tree vs NVLink，不同规模表现，手动指定算法
算法调优
16
NCCL调优实战
调整NCCL_BUFFSIZE, NTHREADS, RINGS等参数提升效率
调优参数
17
多进程与多线程通信
NCCL与MPI集成，torch.distributed，通信组概念
多进程MPI
18
故障排查
错误码解读(NCCL_ERROR/TIMEOUT)，网络断开与GPU掉卡处理
故障排查
19
NCCL与深度学习框架集成
PyTorch DDP, TensorFlow Horovod，框架层通信优化
框架集成
20
大规模集群部署
Fat-Tree/Dragonfly拓扑，NCCL全局通信优化策略
集群部署
21
NCCL 2.x新特性
2.12+改进，NVSwitch支持，多节点通信优化
新特性NVSwitch
22
NCCL与GPU Direct
GPU Direct RDMA与P2P，跨节点GPU直接访问，减少CPU拷贝
GPU DirectRDMA
23
通信与计算重叠
CUDA Stream与NCCL异步通信，提升训练吞吐
重叠异步
24
NCCL在混合精度训练中的应用
FP16/BF16通信，梯度压缩与AllReduce优化
混合精度FP16
25
NCCL在模型并行中的应用
Tensor Parallel与Pipeline Parallel通信模式，优化策略
模型并行TP
26
NCCL在数据并行中的应用
梯度AllReduce优化，梯度累积与通信频率权衡
数据并行梯度
27
NCCL性能基准测试
nccl-tests标准化测试，性能曲线，建立基线
基准性能
28
NCCL与容器化部署
Docker/Kubernetes配置，GPU Operator与NCCL集成
容器K8s
29
NCCL监控与告警
Prometheus+Grafana监控通信指标，设置告警规则
监控告警
30
NCCL未来展望
发展路线图，GPU架构协同演进，AI通信库趋势
未来趋势