第1章
NCCL概述
什么是NCCL · 发展历史 · 分布式训练核心地位 · vs GLOO/MPI
基础概念
第2章
NCCL架构解析
层次结构 · Ring/Tree/AllReduce · 通信原语详解
架构核心
第3章
环境准备与安装
版本选择 · 源码编译 · 环境变量 · 验证安装
实战环境
第4章
NCCL基础API
初始化/销毁 · Comm管理 · 设备与Stream同步
API入门
第5章
点对点通信
Send/Recv详解 · 同步异步 · 自定义通信模式
P2P实战
第6章
集合通信（上）
AllReduce · Broadcast · Reduce & AllGather
集合核心
第7章
集合通信（下）
ReduceScatter · Gather/Scatter · Barrier
集合同步
第8章
NCCL通信模式
Ring/Tree AllReduce · NVLink与PCIe路径
模式拓扑
第9章
环境变量调优（上）
NCCL_ALGO · PROTO · NTHREADS · RINGS
调优变量
第10章
环境变量调优（下）
MIN/MAX_NCHANNELS · CHECKS_DISABLE · DEBUG
调优调试
第11章
网络拓扑感知
拓扑探测 · TOOP_DUMP解析 · 自定义拓扑文件
拓扑多机
第12章
多机通信调优
IB/RoCE · GPUDirect RDMA · 多网卡绑定
多机网络
第13章
NCCL与GPU架构
Volta/Ampere/Hopper · SM与NVSwitch · DGX优化
硬件架构
第14章
NCCL性能分析工具
DEBUG日志 · DEBUG_SUBSYS · nsys profiling
工具分析
第15章
NCCL带宽测试
nccl-tests · 带宽与延迟 · 瓶颈定位
测试性能
第16章
NCCL与PyTorch DDP
调用链路 · bucket size · 通信重叠
PyTorchDDP
第17章
NCCL与Horovod
Horovod集成 · tensor fusion · 与DDP对比
Horovod框架
第18章
NCCL与DeepSpeed
ZeRO通信 · 压缩技术 · 梯度裁剪
DeepSpeedZeRO
第19章
NCCL与Megatron-LM
模型并行 · 张量/流水线并行 · 序列并行
Megatron并行
第20章
NCCL与ColossalAI
异构通信 · 2D/3D并行 · 自适应路由
ColossalAI策略
第21章
NCCL通信重叠技术
计算通信重叠 · 异步AllReduce · 多Stream
重叠性能
第22章
NCCL内存优化
注册内存 · P2P映射 · BUF_SIZE · 内存碎片
内存优化
第23章
NCCL故障排查
错误码 · 超时hang · 丢包重传
调试排错
第24章
NCCL多进程调优
共享通信器 · 进程绑定 · NUMA感知
多进程绑定
第25章
NCCL与容器化
Docker配置 · Kubernetes优化 · Singularity
容器K8s
第26章
NCCL与虚拟化
GPU虚拟化 · vGPU/MIG · SR-IOV网络
虚拟化MIG
第27章
NCCL最新特性
2.18+ · NVLink4/NVSwitch4 · SHARP
新特性SHARP
第28章
实战案例（一）
单机8卡ResNet-50 · 从基线到极致
案例单机
第29章
实战案例（二）
多机64卡GPT-3 · 跨机瓶颈 · 最佳实践
案例多机
第30章
NCCL未来展望
CXL · UEC · 量子计算潜在应用
前沿展望