VIP20

本课程属于：002-NCCL多卡通信 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

NCCL多卡同步实战避坑指南

📚 共计 30 章节

NCCL基础认知

什么是NCCL · 分布式训练角色 · vs MPI vs GLOO对比

安装方式 · 版本策略 · CUDA与NCCL匹配

安装兼容性

通信原语详解

AllReduce · AllGather · ReduceScatter · Broadcast

Ring AllReduce 原理

Ring算法流程 · 分桶策略 · 带宽利用率

Tree AllReduce 原理

Tree拓扑结构 · 与Ring优劣对比

NCCL ID 初始化

ncclUniqueId生成与广播 · 多进程/多线程初始化

通信器创建

ncclCommInitRank vs InitAll · 通信器与GPU关系

通信器创建

同步与异步

GroupStart/End · 同步异步区别 · cudaStream陷阱

用户Buffer注册

ncclMemRegister · 注册时机 · 内存池化管理

数据类型与算子

支持数据类型 · 自定义 · in-place vs out-of-place

数据类型算子

拓扑探测与NVLink

ncclTopoDetect · NVLink拓扑影响 · 多机优化

InfiniBand vs RoCE · GID索引 · 动态/静态映射

TCP/IP兜底策略

NCCL_SOCKET_IFNAME · 多网卡绑定 · TCP vs IB

环境变量调优（上）

NCCL_IB_DISABLE · P2P_DISABLE · NET_GDR_LEVEL

调优环境变量

环境变量调优（下）

MIN_NCHANNELS · ALGO · PROTO · DEBUG

调优环境变量

超时与容错

NCCL_TIMEOUT · 超时处理 · 节点故障恢复

nccl-tests · allreduce_perf · 瓶颈定位

性能Profiling

DEBUG=INFO · SUBSYS过滤 · DEBUG_FILE输出

Profiling日志

Nsight Systems集成

kernel trace · 通信计算overlap · 时间线解读

常见错误码

ncclSystemError · InternalError · InvalidArgument

错误码排查

OOM与显存管理

显存占用 · 通信Buffer冲突 · 碎片化处理

多进程同步问题

fork vs spawn · 共享内存冲突 · 进程组管理

多进程同步

多线程安全

线程安全模型 · 并发限制 · 锁与死锁预防

多线程安全

混合精度训练中的NCCL

FP16/BF16通信 · 梯度压缩 · loss scaling

混合精度FP16

ZeRO优化器与NCCL

ZeRO各阶段通信 · 通信计算重叠 · 通信量分析

流水线并行中的NCCL

PP通信模式 · 点对点优化 · 气泡与重叠

张量并行中的NCCL

TP通信模式 · AllReduce vs ReduceScatter · 通信域

多机多卡实战

集群网络拓扑 · 机内机外比例 · 跨机带宽优化

NCCL 2.x vs 3.x

版本演进 · NVSwitch/Sharp · 迁移注意事项

单机8卡→4机32卡 · 全流程配置 · 调优排查

案例全流程