01
NCCL初识
什么是NCCL · 深度学习地位 · 与MPI区别 · 学习路径
概念概览
02
环境准备
GPU选型 · 驱动CUDA · NCCL安装 · Docker配置
环境安装
03
核心概念
通信域Comm · Group · Rank/World · Stream
基础术语
04
点对点通信
Send/Recv · 阻塞非阻塞 · 同步异步 · 双GPU实战
P2P实战
05
集合通信基础
Broadcast · Reduce · Allreduce · 多卡求和
集合入门
06
集合通信进阶
Gather · Scatter · Allgather · ReduceScatter
进阶模式
07
通信算法原理
Ring Allreduce · Tree算法 · NVLink拓扑感知
算法拓扑
08
NCCL API详解
CommInitAll · CommInitRank · GroupStart/End · 调试
API编程
09
通信性能分析
带宽延迟 · 计算重叠 · nsys · NCCL_DEBUG
性能Profiling
10
多机通信基础
InfiniBand/RoCE · GPUDirect RDMA · 多机搭建
多机网络
11
NCCL环境变量
NCCL_DEBUG · IB_HCA · SOCKET_IFNAME · 调优变量
配置调优
12
拓扑感知与亲和性
GPU拓扑探测 · CPU亲和性 · NUMA绑定
拓扑绑定
13
通信融合 (Fusion)
梯度融合原理 · Fusion Buffer · PyTorch DDP融合
融合优化
14
异步通信与回调
GroupStart/End异步 · 回调注册 · 事件驱动
异步回调
15
NCCL与PyTorch集成
DDP原理 · NCCL后端 · 梯度同步流程
PyTorchDDP
16
NCCL与TensorFlow集成
分布式策略 · MirroredStrategy · 自定义通信环
TensorFlow策略
17
NCCL与JAX集成
pmap/shmap · pjit · JAX多卡训练
JAXpmap
18
自定义通信模式
Alltoall · Barrier · 梯度压缩通信
自定义高级
19
故障排查与调试
错误码 · 超时死锁 · 网络连通性 · 日志分析
调试排错
20
性能优化实战
带宽优化 · 流水线 · 梯度压缩 · 混合精度
优化实战
21
大规模集群通信
千卡挑战 · 分层策略 · 全局调度
大规模集群
22
NCCL 2.x新特性
2.18+ · NVLink 4.0 · SHARP · 自适应路由
新特性NVLink
23
NCCL与GPU Direct
P2P · RDMA · Storage集成
GPUDirectRDMA
24
通信安全与隔离
多租户隔离 · 加密通信 · 安全配置
安全隔离
25
NCCL源码导读
架构概览 · 数据结构 · 协议栈 · Channel/Proxy
源码架构
26
自定义NCCL插件
编写算法插件 · 注册加载 · 自定义Allreduce
插件扩展
27
NCCL与MPI混合编程
MPI初始化NCCL · 混合通信 · 多节点管理
MPI混合
28
NCCL Benchmark
nccl-tests · 带宽测试 · 延迟测试 · 多节点
基准测试
29
生产环境部署
Kubernetes · Slurm · Prometheus+Grafana
部署监控
30
综合实战
8卡分布式训练系统 · 完整代码 · 调优总结
实战项目