所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

全额支付高性能集群通信与NCCL实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
高性能计算集群通信的演进 · NCCL的定位 · 课程学习路径与实战环境准备
课程导入高性能计算集群通…
02
集群通信基础
点对点通信 · 集合通信（AllReduce · Broadcast
集群通信基础点对点通信
03
NCCL核心概念
通信域（Comm） · Rank · World Size
NCCL核心概念
04
NCCL安装与编译
源码编译 · CUDA版本兼容 · 多节点依赖（libnccl
NCCL安装
05
NCCL API详解
ncclCommInitAll · ncclCommInitRank · ncclAllReduce等关键AP…
NCCLAPI
06
NCCL通信模式实战
同步与异步通信 · 流（Stream）管理 · 事件（Event）同步
NCCL通信模式实战
07
NCCL与GPU直通技术
GPUDirect RDMA · NVLink · PCIe拓扑对通信性能的影响及配置检…
NCCLGPU
08
多节点集群通信
InfiniBand与RoCE网络配… · IP路由 · 共享内存（SHM）与网络接口选择
多节点集群通信InfiniBand
09
NCCL性能调优基础
带宽 · 延迟 · 消息大小对吞吐的影响
NCCL性能调优基础
10
NCCL调优参数
NCCL_BUFFSIZE · NCCL_NTHREADS · NCCL_MAX_NCHANNELS…
NCCL调优参数
11
拓扑感知与算法选择
环形（Ring） · 树形（Tree） · 聚合（CollNet）算法的原理与适…
拓扑感知算法选择
12
NCCL与PyTorch集成
DDP（DistributedDat… · 初始化流程与常见配置
NCCLPyTorch
13
NCCL与TensorFlow集成
MirroredStrategy · MultiWorkerMirrore…
NCCLTensorFlow
14
NCCL与自定义C++/CUDA程序集成
在自定义框架中调用NCCL API实…
NCCLC++/CUDA
15
NCCL通信故障排查
常见错误码（如ncclSystemE… · ncclInvalidUsage） · 日志分析与定位方法
NCCL通信故障排查
16
NCCL性能瓶颈分析
使用nsys · ncu · NCCL_DEBUG等工具定位通信瓶…
NCCL性能瓶颈分析
17
NCCL多机多卡实战
搭建4节点8卡集群 · 运行分布式训练并验证通信正确性与性能
NCCL多机多卡实战
18
NCCL与混合精度训练
FP16/BF16通信的注意事项 · 梯度压缩与通信量优化
NCCL混合精度训练
19
NCCL与模型并行
张量并行 · 流水线并行中NCCL通信模式的设计与…
NCCL模型并行
20
NCCL与数据并行
大规模数据并行中的梯度AllRedu… · 梯度累积与通信重叠
NCCL数据并行
21
NCCL与分布式推理
多卡推理中的通信需求 · AllGather与ReduceSc…
NCCL分布式推理
22
NCCL与容器化部署
Docker/Kubernetes中… · 共享内存限制 · 网络模式选择（hostNetwork…
NCCL容器化部署
23
NCCL与云环境
AWS · 阿里云等云GPU实例的NCCL配置 · EFA/ERDMA支持与性能对比
NCCL云环境
24
NCCL与SLURM集群
SLURM作业脚本中NCCL环境变量… · 节点分配与通信初始化
NCCLSLURM
25
NCCL与MPI对比
MPI与NCCL在集合通信上的差异 · 混合使用场景与性能权衡
NCCLMPI
26
NCCL高级特性
NCCL_LAUNCH_MODE · NCCL_DEBUG_SUBSYS · NCCL_IB_DISABLE等高级…
NCCL高级特性
27
NCCL性能优化实战
通过调整通道数 · 消息分割 · 多流并发将AllReduce性能提升…
NCCL性能优化实战
28
NCCL常见问题集锦
初始化失败 · 超时 · 带宽不达标
NCCL常见问题集锦
29
NCCL综合项目实战
从零构建一个基于NCCL的分布式深度… · 包含数据加载 · 模型同步与评估
NCCL综合项目实战
30
课程总结与进阶
NCCL生态展望 · 与CUDA Graph · Triton等新技术的结合
课程总结进阶