VIP20

本课程属于：002-NCCL多卡通信 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

NCCL通信性能提升系统化方案

📚 共计 30 章节

NCCL概述与通信模型

NCCL是什么 · 分布式训练角色 · Ring vs Tree AllReduce

环境搭建与版本选择

源码编译/二进制包 · CUDA匹配 · nvlink/PCIe拓扑检测

通信原语详解

AllReduce · AllGather · ReduceScatter · Broadcast API

通信性能基准测试

nccl-tests带宽/延迟 · algbw · busbw 指标解读

拓扑感知与亲和性设置

CPU-GPU绑定 · numactl · NCCL_TOPO_FILE

拓扑亲和性

通信算法选择与调优

NCCL_ALGO · Ring vs Tree vs CollNet Direct

协议选择与数据路径

NCCL_PROTO · Simple/LL/LL128 · 数据包大小

网络接口与IB/RoCE配置

NCCL_IB_HCA · SOCKET_IFNAME · InfiniBand/RoCEv2

缓冲区管理与内存优化

NCCL_BUFFSIZE · NCHANNELS · MAX_NCHANNELS

内存缓冲区

多流与异步通信

NTHREADS · NSENDS · 多流并发 · 计算通信重叠

通信与计算重叠技术

CUDA Stream重叠 · 异步启动与同步

故障诊断与日志分析

NCCL_DEBUG · DEBUG_SUBSYS · 常见错误码排查

超时设置与稳定性优化

NCCL_TIMEOUT · CONNECT_TIMEOUT · 网络抖动处理

稳定性超时

多节点通信优化

跨节点瓶颈 · NET_GDR_LEVEL · GPU Direct RDMA

NVLink/NVSwitch优化

NVLink拓扑 · NVSwitch带宽 · NCCL_NVLS_ENABLE

集合通信库对比

NCCL vs GLOO vs MPI vs RCCL 性能与场景

PyTorch DDP中的应用

torch.distributed后端 · NCCL参数 · DDP调优

DeepSpeed中的应用

ZeRO优化器 · 梯度累积 · 通信频率优化

Megatron-LM中的应用

张量并行 · 流水线并行 · NCCL通信模式

Horovod中的应用

Horovod+NCCL集成 · 梯度压缩 · 通信优化

Horovod梯度压缩

通信性能Profiling

nsys · Nsight Systems · NCCL通信分析

ProfilingNsight

通信热点识别与优化

识别通信瓶颈 · 通信计算比例分析

网络带宽与延迟优化

MTU设置 · 拥塞控制 · QoS配置

多机多卡通信拓扑设计

节点内/间拓扑 · Fat-Tree vs Dragonfly

通信调度与负载均衡

通道分配 · 多NIC负载均衡策略

GPU Direct Storage集成

GDS原理 · NCCL与GDS协同优化

通信安全与隔离

多租户隔离 · 通信加密与认证

最新特性与版本演进

NCCL 2.x新特性 · 3.x展望 · Roadmap

性能调优实战案例

8卡→1024卡集群调优 · 常见问题与解决

调优总结与最佳实践

Checklist · 决策树 · 持续监控与优化策略

总结最佳实践