01
NCCL概述
什么是NCCL · 发展历史 · 多卡训练核心地位 · 与MPI/OpenMPI对比
基础背景
02
NCCL通信原语
AllReduce · AllGather · ReduceScatter · Broadcast · Reduce 语义与场景
通信原语
03
初始化与拓扑发现
ncclCommInitAll · ncclCommInitRank · 拓扑感知 · 环形/树形拓扑
初始化拓扑
04
集合通信性能模型
带宽·延迟·消息大小影响 · 通信计算重叠模型
性能模型
05
Ring算法
Ring AllReduce原理 · ReduceScatter+AllGather · 带宽最优性
算法Ring
06
Tree算法
Double Binary Tree · 与Ring对比 · 适用场景
算法Tree
07
NVLink与PCIe路径
NVLink拓扑 · PCIe Switch · 跨节点InfiniBand/RoCE
硬件拓扑
08
异步操作与流管理
ncclGroupStart/End · ncclCommStream · CUDA Stream同步
异步流
09
通信缓冲区管理
注册/注销 · IPC共享内存 · GDR (GPUDirect RDMA)
内存GDR
10
调优参数详解
NCCL_ALGO · NCCL_PROTO · NCCL_IB_HCA · NCCL_NET_GDR_LEVEL
调优环境变量
11
性能Profiling
nsys · NCCL_DEBUG · NCCL_DEBUG_SUBSYS 分析
性能调试
12
常见问题与调试
超时 · 死锁 · OOM · 带宽不达标排查
调试排错
13
算子融合概述
什么是融合 · 为什么需要 · 粒度: Element-wise/Reduce/MatMul
融合概念
14
计算通信重叠
流水线并行隐藏 · 异步AllReduce · fused_adam优化
重叠通信
15
梯度融合 (Gradient Fusion)
AllReduce梯度合并 · bucket划分 · 通信计算重叠
梯度融合
16
Fused Softmax
LayerNorm+Softmax融合 · Reduce维度优化 · Shared Memory
Softmax融合
17
Fused Attention
FlashAttention分块融合 · Online Softmax · 重计算
AttentionFlash
18
Fused Layernorm
均值方差融合 · Gamma/Beta缩放 · 半精度优化
LayerNorm融合
19
Fused AdamW
状态更新+权重衰减融合 · 多张量并行 · 通信重叠
优化器AdamW
20
Fused CrossEntropy
LogSoftmax+NLLLoss融合 · Reduce优化 · 梯度回传融合
损失融合
21
Fused QKV投影
Multi-Head Attention QKV融合 · BMM融合 · Reshape优化
QKV投影
22
Fused Bias + Activation
BiasAdd+ReLU/GELU/SiLU融合 · In-place操作
激活Bias
23
Fused Dropout+Add+LayerNorm
Pre-LN/Post-LN融合 · 残差连接优化
Dropout残差
24
Fused Rotary Position Embedding
RoPE计算融合 · 复数乘法优化 · 半精度实现
位置编码RoPE
25
Fused SwiGLU
SwiGLU激活融合 · 门控机制优化 · 内存带宽节省
激活SwiGLU
26
Fused MoE
TopK路由 · 专家并行 · 通信与计算融合
MoE稀疏
27
Fused AllToAll
AllToAll通信+计算融合 · 转置重排 · 序列并行通信
AllToAll序列并行
28
Fused Ring Attention
分布式Attention Ring通信+计算融合 · 分块策略
Ring分布式
29
Fused Sequence Parallel
序列维度并行通信融合 · LayerNorm/Dropout序列并行
序列并行通信
30
综合实战
Megatron-LM/DeepSpeed融合与通信优化 · 性能调优案例
实战Megatron