VIP20

本课程属于：002-NCCL多卡通信 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

NCCL多卡同步与显存管理实战

📚 共计 30 章节

什么是NCCL · 发展历史 · 多卡训练核心地位 · vs MPI vs GLOO

NCCL环境搭建

源码编译/pip安装 · 版本选择 · 环境变量 · nvlink/PCIe拓扑

NCCL通信原语

AllReduce · Broadcast · AllGather · ReduceScatter · Send/Recv

NCCL通信模式

Ring/Tree AllReduce · NVLink协同 · 多节点InfiniBand/RoCE

NCCL组管理与同步

Communicator创建/销毁 · InitRank/InitAll · GroupStart/End · Barrier · Abort

NCCL与PyTorch集成

torch.distributed · DDP原理 · 梯度同步底层实现

NCCL与TensorFlow集成

MirroredStrategy · all_reduce · 版本兼容 · 自定义算子

TensorFlow集成

NCCL与JAX集成

pmap · psum/pallgather · 自动并行 · XLA协作

NCCL性能调优（上）

ALGO/PROTO · 通道数 · LL_THRESHOLD · NTHREADS/RINGS

NCCL性能调优（下）

IB_HCA · GDR_LEVEL · CROSS_NIC · P2P/NVLINK禁用 · DEBUG日志

NCCL显存管理基础

GPU显存架构 · 内部缓冲区 · ncclMemAlloc/Free · 显存池 · CUDA流

NCCL显存优化策略

梯度累积重叠 · 通信计算Overlap · 分桶通信 · 梯度压缩 · 碎片整理

NCCL多流并发

CUDA Stream · 多流原理 · commSplit · 同步问题 · 多流训练框架

NCCL错误处理与调试

错误码 · getErrorString · 超时机制 · 死锁检测 · 常见案例

NCCL拓扑感知与亲和性

GPU拓扑检测 · NUMA亲和性 · CPU绑定 · 8卡服务器优化

拓扑亲和性

NCCL多节点通信

网络拓扑 · IB/RoCE/TCP · QPS调优 · 跨节点显存 · 4节点32卡

多节点网络

NCCL与混合精度训练

FP16/BF16通信 · allreduce优化 · 梯度缩放 · AMP配置

混合精度FP16

NCCL与模型并行

张量/流水线/序列并行 · 3D并行 · Megatron-LM调优

模型并行Megatron

NCCL与数据并行

梯度同步策略 · 梯度累积 · Local/Async SGD · 大规模数据并行

数据并行SGD

NCCL显存分析工具

nvidia-smi · nvprof/nsys · 内存泄漏检测 · 自定义Hook

工具显存分析

NCCL性能分析工具

NVTX标记 · Nsight Systems · Trace机制 · topoDump可视化

性能分析Nsight

NCCL与分布式文件系统

NFS/GPFS交互 · 数据加载通信 · 分布式缓存 · 数据集优化

NCCL安全与隔离

多租户隔离 · 进程隔离 · 权限控制 · Docker/K8s配置

NCCL与CUDA Graph

CUDA Graph原理 · 集成 · Graph捕获/重放 · 加速通信

CUDA Graph加速

NCCL与异步执行

异步API · GroupStart/End · GetAsyncError · 异步训练框架

NCCL与自定义通信

自定义AllReduce · Hook机制 · Plugin接口 · 梯度压缩AllReduce

自定义扩展

NCCL与多模态训练

文本+图像通信 · 显存管理 · 混合并行 · CLIP优化

NCCL与稀疏训练

稀疏梯度通信 · Top-K稀疏化 · 随机稀疏化 · 显存优化

NCCL与ZeRO优化器

ZeRO Stage 1/2/3 · 交互机制 · 显存管理 · 通信平衡

NCCL未来趋势与总结

NCCL 2.20+ · GPU Direct Storage · CXL · 量子计算 · 最佳实践