01
NCCL概述
什么是NCCL · 分布式训练角色 · 核心通信模式 (AllReduce, AllGather, ReduceScatter, Broadcast)
基础概念
02
NCCL环境搭建与基础使用
安装编译 · 环境变量 · PyTorch集成 · 简单AllReduce示例
环境入门
03
NCCL通信原理
Ring AllReduce · Tree AllReduce · 拓扑感知 & NVLink/NVSwitch
算法拓扑
04
NCCL性能分析工具
nsys · nccl-tests · 性能瓶颈定位 · 带宽利用率分析
工具调优
05
NCCL核函数基础
CUDA核函数回顾 · 自定义核函数 · 核函数与通信协同
CUDA核函数
06
NCCL核函数优化策略
内存访问模式 · 共享内存 · Warp原语 · Occupancy调优
优化共享内存
07
NCCL算子融合概念
什么是算子融合 · 收益分析 · 挑战：依赖关系 & 内存压力
融合架构
08
NCCL与计算的重叠
Stream & Event · 计算通信重叠经典模式 · 异步执行与同步点
异步Stream
09
NCCL AllReduce核函数优化
Ring AllReduce核函数实现 · 梯度累积与分块 · 带宽最优化Ring
AllReduceRing
10
NCCL AllGather核函数优化
AllGather核函数设计 · 内存布局优化 · 多节点AllGather
AllGather内存
11
NCCL ReduceScatter核函数优化
ReduceScatter实现 · 局部/全局归约平衡 · 流水线化
ReduceScatter流水线
12
NCCL Broadcast核函数优化
Broadcast核函数实现 · 树形/链式Broadcast · 延迟优化
Broadcast延迟
13
NCCL自定义通信原语
自定义通信模式 · All-to-All · 稀疏通信优化
自定义All-to-All
14
NCCL与CUDA Graphs
CUDA Graphs基础 · NCCL操作集成 · Graph捕获与重放
CUDA Graphs捕获
15
NCCL多流并发
多Stream调度 · 优先级与依赖管理 · 最佳实践
多流并发
16
NCCL内存管理优化
注册内存/固定内存 · 内存池化 · 零拷贝通信
内存零拷贝
17
NCCL与NVLink/NVSwitch深度优化
NVLink拓扑感知 · NVSwitch带宽利用 · 多GPU负载均衡
NVLinkNVSwitch
18
NCCL与InfiniBand/RoCE
RDMA基础 · IB Verbs & GDR · RoCE v2优化
RDMAInfiniBand
19
NCCL集合通信的故障恢复
超时处理 · 错误检测 · 通信组重建 · 容错训练
容错恢复
20
NCCL与PyTorch DDP融合优化
DDP梯度同步 · AllReduce集成 · 梯度压缩与通信优化
PyTorchDDP
21
NCCL与DeepSpeed融合
ZeRO优化器通信 · ZeRO-2/3通信模式 · 通信计算流水线
DeepSpeedZeRO
22
NCCL与Megatron-LM融合
张量并行通信 · 流水线并行点对点 · 序列并行AllReduce
Megatron并行
23
NCCL与Horovod对比融合
Horovod架构 · 性能对比 · 混合使用策略
Horovod对比
24
NCCL在大规模集群中的优化
多节点拓扑感知 · 全局通信调度 · 网络拥塞控制
大规模集群
25
NCCL自动调优
算法选择策略 · 自动调优参数 (NCCL_ALGO, NCCL_PROTO) · 性能模型
自动调优参数
26
NCCL与异步执行模型
异步AllReduce · Future/Callback · 异步内存管理
异步Future
27
NCCL与混合精度训练
FP16/BF16通信优化 · 梯度缩放 · 混合精度配置
混合精度FP16
28
NCCL与稀疏通信
稀疏梯度通信 · Top-K稀疏化 · 梯度压缩集成
稀疏压缩
29
NCCL性能调优实战案例
真实场景问题分析 · 调优前后对比 · 工具与流程
实战案例
30
NCCL未来趋势与高级主题
下一代架构 · SHARP集成 · CXL/Gen-Z融合展望
未来SHARP