01
NCCL概述
什么是NCCL · 分布式训练角色 · vs MPI vs Gloo
基础概念
02
环境准备
GPU驱动 · CUDA Toolkit · 容器工具包安装
环境驱动
03
NCCL安装
源码编译 · apt/yum安装 · 验证安装
安装编译
04
网络拓扑与硬件
NVLink · InfiniBand · RoCE · PCIe影响
硬件拓扑
05
NCCL通信模式
AllReduce · AllGather · ReduceScatter · Broadcast
通信原理
06
NCCL ID与初始化
ncclUniqueId生成分发 · ncclCommInitRank
初始化ID
07
点对点通信
ncclSend/Recv实战 · 同步与异步
P2P实战
08
集合通信实战
AllReduce完整代码 · 性能基准测试
集合通信代码
09
NCCL组管理
ncclCommSplit · 多设备分组 · 子通信器
组管理高级
10
NCCL与PyTorch集成
torch.distributed初始化 · NCCL后端配置
PyTorch集成
11
分布式数据并行DDP
DDP原理 · NCCL角色 · 梯度同步机制
DDP分布式
12
NCCL与Horovod集成
Horovod安装 · hvd.allreduce · 性能对比
Horovod集成
13
NCCL环境变量详解
NCCL_DEBUG · IB_HCA · SOCKET_IFNAME
环境变量调试
14
NCCL调优参数
MIN_NCHANNELS · NCHANNELS · ALGO
调优性能
15
网络性能诊断
nccl-tests · 带宽测试 · 延迟测试
诊断工具
16
常见错误排查
初始化失败 · 超时 · 通信异常 · OOM
错误排查
17
NCCL日志分析
DEBUG=INFO解读 · WARN与ERROR处理
日志分析
18
多节点训练配置
SSH免密 · hostfile · torchrun与NCCL
多节点配置
19
NCCL与Slurm集成
Slurm作业提交 · 节点分配 · 拓扑感知
Slurm调度
20
NCCL与Docker
容器内配置 · --gpus · IPC共享内存
Docker容器
21
NCCL与Kubernetes
K8s GPU调度 · 拓扑亲和性 · Volcano集成
K8s云原生
22
NCCL图模式
ncclGraph · 图捕获与重放 · 性能优化
图模式优化
23
NCCL内存管理
注册内存 · CUDA IPC · 用户缓冲区管理
内存IPC
24
NCCL故障恢复
ncclCommAbort · 错误回调 · 训练容错
容错恢复
25
NCCL性能分析
Nsight Systems · Profiling · 瓶颈定位
性能分析
26
NCCL与Megatron-LM
张量并行 · 流水线并行 · 通信优化
Megatron大模型
27
NCCL与DeepSpeed
ZeRO优化器 · 通信压缩 · 梯度累积
DeepSpeedZeRO
28
大规模训练实战
千卡集群调优 · 网络拓扑优化 · 线性扩展
大规模实战
29
NCCL新特性
2.18+新功能 · NVSwitch4 · SHARP技术
新特性SHARP
30
课程总结与最佳实践
部署检查清单 · 稳定训练SOP · FAQ
总结最佳实践