VIP20

本课程属于：002-NCCL多卡通信 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

NCCL通信瓶颈定位与突破

📚 共计 30 章节

什么是NCCL · 分布式训练角色 · vs MPI vs GLOO

NCCL通信原语

AllReduce · AllGather · ReduceScatter · Broadcast · Send/Recv

初始化与拓扑检测

ncclCommInitAll · ncclGetUniqueId · 拓扑检测机制

初始化拓扑

NCCL通信模式

Ring AllReduce · Tree AllReduce · NVLink vs PCIe vs IB

NCCL性能指标

带宽利用率 · 延迟 · Algbw vs Busbw

环境变量详解

NCCL_DEBUG · NCCL_IB_DISABLE · NCCL_P2P_DISABLE · NCCL_NET_GDR_LEVEL

环境变量配置

NCCL日志分析

NCCL_DEBUG=INFO · WARN · TRACE

拓扑文件解析

topo.xml · 自定义拓扑 · 拓扑感知通信

通信瓶颈类型

带宽瓶颈 · 延迟瓶颈 · 负载不均衡 · 拓扑冲突

Profiling工具

nsys profile · NCCL_PROFILING · NCCL_PROFILING_CONFIG

NCCL带宽测试

nccl-tests perftest · allreduce_bench · 带宽压测方法

多节点通信

跨节点原理 · RoCE vs InfiniBand · GDR技术

多节点网络

单节点通信

NVLink拓扑 · NVSwitch架构 · GPU间P2P

单节点NVLink

ncclGroupStart/End · 异步通信 · 流同步

注册内存 · CUDA IPC · 用户缓冲区管理

与PyTorch集成

torch.distributed · DDP · FSDP中的NCCL

与Megatron集成

TP · PP · EP 通信模式

与DeepSpeed集成

ZeRO优化器通信 · 梯度累积

通信计算重叠

异步AllReduce · 通信与计算流水线

重叠流水线

网络拥塞控制

ECN · DCQCN · 拥塞感知路由

超时 · 连接失败 · OOM · 版本兼容性

NCCL版本演进

2.x vs 3.x · 新特性 · 性能提升

多进程通信

MULTI_PROCESS · 共享内存 · 进程组管理

多进程共享内存

GPU Direct RDMA · GPU Direct Storage

通信拓扑优化

环形 · 树形 · 混合拓扑选择

通信数据压缩

FP16通信 · 梯度压缩 · 量化通信

通信负载均衡

分桶策略 · 梯度分片 · 调度优化

负载均衡分片

集合通信库对比

NCCL vs RCCL vs oneCCL vs MPI

大规模集群实践

万卡集群通信挑战 · 通信拓扑设计

集群大规模

性能调优实战

从日志分析到参数调优 · 典型案例复盘