所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

NCCL集合通信与GPU集群优化

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · NCCL在深度学习分布式训练中的核心…
课程导入学习目标
02
GPU集群基础
GPU架构 · NVLink · PCIe
GPU集群基础
03
分布式训练基础
数据并行 · 模型并行 · 流水线并行的基本概念与通信模式
分布式训练基础数据并行
04
集合通信原语
AllReduce · Broadcast · Scatter
集合通信原语AllReduce
05
NCCL核心概念
通信域（Comm） · 通信组 · Rank
NCCL核心概念
06
NCCL环境搭建
CUDA · 驱动 · NCCL库的安装与验证
NCCL环境搭建
07
NCCL编程入门
初始化NCCL · 创建通信域 · 执行集合通信操作的简单示例代码
NCCL编程入门
08
NCCL通信模式
点对点通信与集合通信的区别 · 以及NCCL对集合通信的优化
NCCL通信模式
09
NCCL拓扑感知
如何利用GPU拓扑（NVLink · PCIe交换机）优化通信路径
NCCL拓扑感知
10
NCCL算法原理
Ring AllReduce · Tree AllReduce等算法的…
NCCL算法原理
11
NCCL调优参数
环境变量如NCCL_IB_DISAB… · NCCL_NET_GDR_LEVEL · NCCL_BUFFSIZE等的作用与…
NCCL调优参数
12
NCCL与GPU直连
GPUDirect RDMA · GDRCopy等技术的原理与配置
NCCLGPU
13
多机通信
跨节点通信的挑战 · InfiniBand与RoCE的配置…
多机通信跨节点通信的挑战
14
NCCL性能分析
使用nsys · ncu · NCCL_DEBUG等工具定位通信瓶…
NCCL性能分析
15
NCCL常见问题
初始化失败 · 超时 · 死锁
NCCL常见问题
16
NCCL与PyTorch集成
DDP（DistributedDat…
NCCLPyTorch
17
NCCL与TensorFlow集成
MirroredStrategy · MultiWorkerMirrore…
NCCLTensorFlow
18
NCCL与Horovod集成
Horovod的NCCL后端配置与性…
NCCLHorovod
19
大规模集群通信优化
通信计算重叠 · 梯度压缩 · 梯度累积等高级技巧
大规模集群通信优…通信计算重叠
20
NCCL多流与异步
使用CUDA流实现通信与计算重叠 · 提升训练吞吐
NCCL多流
21
NCCL内存管理
通信缓冲区分配 · 内存池 · 显存优化策略
NCCL内存管理
22
NCCL故障恢复
通信超时 · 节点故障的检测与容错机制
NCCL故障恢复
23
NCCL安全与权限
多租户环境下的隔离 · 权限控制与资源限制
NCCL安全
24
NCCL性能基准测试
使用nccl-tests进行带宽 · 延迟测试 · 并解读结果
NCCL性能基准测试
25
案例实战
单机多卡ResNet训练中的NCCL…
案例实战ResNet
26
案例实战
多机多卡风格模型训练中的N…
案例实战
27
案例实战
混合并行（数据+模型+流水线）场景下…
案例实战混合并行
28
NCCL与云环境
在AWS · GCP等云GPU实例上配置NCCL · 处理虚拟化网络限制
NCCL云环境
29
NCCL最新进展
NCCL 2.x新特性 · 未来趋势与替代方案（如RCCL）
NCCL最新进展
30
综合项目
从零搭建一个基于NCCL的分布式训练… · 并完成性能调优与报告
综合项目NCCL