01
NCCL概述
NCCL是什么 · 核心功能 (AllReduce, Broadcast, Reduce, AllGather) · 分布式训练角色
基础概念
02
NCCL安装与编译
源码编译 · pip/conda安装 · 版本兼容性检查
安装环境
03
NCCL环境变量详解
NCCL_DEBUG, NCCL_IB_DISABLE, NCCL_SOCKET_IFNAME, NCCL_NET_GDR_LEVEL 等
调优变量
04
网络拓扑与NCCL
环形/树形拓扑 · NVLink & PCIe · 拓扑检测与优化
拓扑硬件
05
NCCL通信模式
P2P · 集合通信 · 同步/异步 · Group操作
通信模式
06
NCCL与GPU亲和性
GPU绑定 · NUMA感知 · CPU Affinity · 性能影响
亲和性性能
07
NCCL初始化失败
常见错误码 · 初始化超时 · 设备不可用 · 驱动版本
排错初始化
08
NCCL通信超时
超时原因 · 网络延迟排查 · NCCL_TIMEOUT调整
超时网络
09
NCCL内存不足
显存溢出 · 内存碎片 · BUFFER_SIZE调整 · 内存池
内存OOM
10
NCCL网络连接失败
IB/RoCE配置 · 防火墙 · 端口占用 · 多网卡绑定
网络连接
11
NCCL性能瓶颈分析
带宽利用率低 · 延迟高 · 负载不均 · Profiling工具
性能分析
12
NCCL与InfiniBand集成
IB驱动 · 子网管理器 · 链路状态 · GID索引
IB集成
13
NCCL与RoCEv2集成
RoCE配置 · PFC · ECN · 流控调优
RoCE网络
14
NCCL多节点通信
跨节点原理 · 节点间拓扑 · 跨机优化
多节点分布式
15
NCCL单节点多卡通信
NVLink拓扑 · PCIe Switch · 多卡带宽测试
单机多卡
16
NCCL版本升级与回滚
版本差异 · API变更 · 兼容性测试 · 回滚方案
版本维护
17
NCCL与PyTorch DDP集成
torch.distributed初始化 · NCCL后端 · 常见问题
PyTorchDDP
18
NCCL与Horovod集成
Horovod初始化 · NCCL后端 · 混合精度训练
Horovod集成
19
NCCL与DeepSpeed集成
ZeRO优化器 · 流水线/张量并行 · NCCL问题
DeepSpeed并行
20
NCCL日志分析
NCCL_DEBUG=INFO/WARN/TRACE · 字段含义 · 过滤技巧
日志调试
21
NCCL健康检查
nccl-tests · 带宽/延迟/稳定性测试
测试工具
22
NCCL故障注入与恢复
网络抖动模拟 · 节点故障恢复 · 容错机制
容错混沌
23
NCCL与容器化部署
Docker · Kubernetes · NVIDIA Device Plugin · 网络插件
容器K8s
24
NCCL与云环境部署
AWS EFA · GCP GPUDirect-TCPX · Azure InfiniBand · 云配置
云EFA
25
NCCL多进程与多线程
多进程通信冲突 · 线程安全 · CUDA Stream与NCCL
并发线程
26
NCCL与CUDA Graph集成
CUDA Graph捕获 · NCCL操作图化 · 性能优化
CUDA Graph优化
27
NCCL与NVLink/NVSwitch
NVLink拓扑检测 · NVSwitch配置 · 带宽共享
NVLinkNVSwitch
28
NCCL与GPU Direct RDMA
GDR配置 · 检查 · 性能调优
GDRRDMA
29
NCCL常见错误码大全
错误码分类 · 含义 · 解决方案
错误码参考
30
NCCL最佳实践与性能调优
拓扑优化 · 网络调优 · 参数调优 · 监控告警体系
最佳实践调优