01
NCCL概述
NCCL是什么 · 分布式训练角色 · 核心设计理念
基础概念
02
通信原语详解
AllReduce · AllGather · ReduceScatter · Broadcast
原语集合通信
03
Ring AllReduce算法
Ring拓扑 · 分步拆解 · 与Tree算法对比
算法Ring
04
NCCL初始化与拓扑检测
ncclCommInitRank · 拓扑感知 · NVLink/PCIe路径
初始化拓扑
05
通信缓冲区管理
注册/反注册 · CUDA IPC · GPUDirect RDMA
内存GDR
06
同步与异步通信
ncclAllReduce同步 · Stream异步 · groupStart/End
同步异步
07
NCCL环境变量调优
NCCL_IB_HCA · SOCKET_IFNAME · DEBUG等
调优环境变量
08
网络协议与性能
InfiniBand vs RoCE vs TCP · 带宽/延迟权衡
网络协议
09
NVLink与NVSwitch架构
NVLink拓扑 · NVSwitch全互联 · 多节点瓶颈
硬件NVLink
10
PCIe瓶颈分析
PCIe带宽限制 · Switch拓扑 · 多GPU竞争
PCIe瓶颈
11
CPU与内存瓶颈
CPU绑定 · NUMA亲和性 · 内存带宽影响
CPUNUMA
12
NCCL Profiling工具
NCCL_DEBUG=INFO · SUBSYS · DEBUG_FILE
调试Profiling
13
Nsight Systems深度分析
时间线视图 · 通信/计算重叠 · Kernel Launch
Nsight可视化
14
NCCL Trace与日志分析
nccl_trace.py · 日志级别 · 错误码解读
日志Trace
15
通信与计算重叠
Stream多流 · Async模式 · Fusion Buffer策略
重叠优化
16
梯度累积与通信优化
梯度累积原理 · 通信频率降低 · 内存权衡
梯度累积
17
AllReduce分块与流水线
分块大小 · 流水线深度 · 带宽利用率
分块流水线
18
多节点通信优化
RDMA vs TCP · 多网卡绑定 · 跨机拓扑感知
多节点RDMA
19
NCCL与PyTorch DDP集成
DDP通信钩子 · 梯度压缩 · 异步DDP
PyTorchDDP
20
NCCL与Horovod对比
架构差异 · 性能对比 · 适用场景选择
对比Horovod
21
常见性能问题诊断
通信超时 · 带宽不达标 · 卡死与hang
诊断问题
22
NCCL版本升级与兼容性
版本演进 · API变化 · 性能提升点
版本兼容
23
GPU集群网络架构
Leaf-Spine · Fat-Tree · 拥塞控制
网络架构
24
拥塞控制与流控
ECN · PFC · DCQCN对NCCL的影响
拥塞流控
25
NCCL与集合通信库对比
GLOO · MPI · RCCL差异与选型
对比选型
26
大规模集群通信挑战
All-to-All · 通信均衡 · 负载不均
大规模挑战
27
NCCL源码架构浅析
核心数据结构 · 通信协议 · 调度器
源码架构
28
自定义通信算法
NCCL插件机制 · 自定义AllReduce实现
自定义插件
29
案例一：8卡A100 BERT
通信瓶颈分析与优化 · 实战
案例BERT
30
案例二：跨机64卡 GPT-3
跨机通信瓶颈分析与优化 · 实战
案例GPT-3