01
NCCL概述
什么是NCCL · 分布式训练角色 · 核心优势与适用场景
概念入门
02
NCCL架构解析
通信原语(AllReduce/AllGather等) · 拓扑感知与通信模式
原理核心
03
NCCL驱动适配基础
NVIDIA驱动与CUDA版本对应 · 兼容性矩阵 · 环境检查
驱动前置
04
NVIDIA驱动安装与验证
runfile/deb/rpm安装 · 版本选择 · nvidia-smi验证
实操驱动
05
CUDA Toolkit安装与配置
安装步骤 · PATH/LD_LIBRARY_PATH · 版本切换管理
CUDA环境
06
NCCL库安装
pip/deb/rpm/tar · 源码编译 · 安装验证
安装NCCL
07
NCCL环境变量详解
NCCL_DEBUG, IB_HCA, SOCKET_IFNAME, GDR_LEVEL等
调优变量
08
单机多卡NCCL通信测试
环境准备 · nccl-tests编译运行 · AllReduce基准测试
测试单机
09
多机NCCL通信基础
网络拓扑设计 · InfiniBand vs RoCE · 关键配置
多机网络
10
InfiniBand驱动适配
Mellanox驱动 · ibverbs库 · ibstatus/ibdev2netdev
IB驱动
11
RoCE驱动适配
RoCE配置 · PFC/ECN设置 · 性能调优参数
RoCE网络
12
NCCL网络接口选择
IB vs TCP策略 · IB_HCA与SOCKET_IFNAME实战
配置网络
13
NCCL GDR (GPU Direct RDMA) 配置
GDR原理 · 启用条件 · NCCL_NET_GDR_LEVEL调优
GDRRDMA
14
NCCL拓扑文件生成与优化
nvidia-smi topo -m · 拓扑文件格式 · 自定义优化
拓扑性能
15
NCCL通信性能调优
ALGO/PROTO选择 · BUFFSIZE与NTHREADS调优
调优高级
16
NCCL与MPI集成
OpenMPI安装 · 通信桥接 · mpirun启动NCCL任务
MPI集成
17
NCCL与PyTorch集成
分布式后端 · torch.distributed初始化 · 配置实战
PyTorch框架
18
NCCL与TensorFlow集成
分布式策略 · allreduce实现 · TF_CONFIG配置
TensorFlow框架
19
NCCL与JAX集成
分布式初始化 · pmap/pjit · XLA协同
JAX框架
20
NCCL故障排查
错误码解析 · 日志分析 · 网络连通性排查
排错诊断
21
NCCL性能瓶颈分析
nccl-tests数据解读 · DEBUG日志 · perf/nvidia-smi
性能分析
22
多节点集群部署实战
网络规划 · 免密SSH · 环境一致性检查
集群部署
23
NCCL集群监控与运维
Prometheus+Grafana · 指标采集 · 告警规则
监控运维
24
NCCL版本升级与回滚
升级步骤 · 兼容性测试 · 回滚方案
版本管理
25
NCCL与容器化部署
Docker配置 · NVIDIA Container Toolkit · Kubernetes调度
容器K8s
26
NCCL安全配置
通信加密 · TLS配置 · 访问控制与防火墙
安全加密
27
NCCL在云环境中的适配
AWS EFA · GCP GPUDirect-TCPX · Azure InfiniBand
云适配
28
NCCL多租户场景配置
GPU MIG · 资源隔离 · NCCL_CROSS_NIC调优
多租户隔离
29
NCCL最新特性与演进
NCCL 2.x新特性 · Sharp集成 · NVLink/NVSwitch优化
前沿演进
30
NCCL集群部署综合实战
8节点集群搭建 · 全流程调优 · 生产最佳实践
综合实战