所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。

← 返回上一级

← 返回所属目录咨询 / 购买

高性能集群通信与NCCL实战

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

高性能集群通信的背景 · NCCL的定位 · 课程学习路径与实战环境准备

课程导入高性能集群通信的…

集群通信基础

分布式训练中的通信模式（点对点 · 集合通信） · 同步与异步

集群通信基础分布式训练

NCCL核心概念

NCCL的架构 · 通信原语（AllReduce · Broadcast

NCCL核心概念

NCCL安装与配置

不同GPU平台（NVIDIA · AMD · Intel）的安装方法

NCCL编程入门

初始化NCCL · 创建Communicator · 执行集合通信操作

NCCL编程入门

NCCL通信模式详解

Ring AllReduce · Tree AllReduce · NVLink

NCCL通信模式详解

NCCL性能调优

带宽利用率 · 延迟优化 · 通信计算重叠

NCCL性能调优

多机多卡通信

跨节点通信配置 · RDMA与RoCE · 网络拓扑感知

多机多卡通信跨节点通信配置

NCCL与PyTorch集成

DistributedDataPar… · NCCL后端配置 · 梯度同步流程

NCCL与TensorFlow集成

TensorFlow分布式策略 · NCCL后端使用 · 性能对比

NCCL与Horovod集成

Horovod架构 · NCCL后端 · 弹性训练支持

NCCL调试与诊断

常见错误（超时 · 初始化失败 · 资源不足）

NCCL性能分析工具

使用nsys · ncu · NCCL tests

NCCL性能分析工具

NCCL内存管理

显存占用 · 通信缓冲区 · 内存池

NCCL内存管理

NCCL与GPU虚拟化

MIG · vGPU · 容器环境（Docker

NCCL与多租户

多进程通信隔离 · 共享GPU环境下的NCCL资源管理

NCCL扩展与自定义

实现自定义集合通信操作 · 使用NCCL的C API · 与CUDA流集成

NCCL在大型模型训练中的应用

Megatron-LM · DeepSpeed · ZeRO等框架中的NCCL优化

NCCL大型模型训练

NCCL在推理场景中的应用

分布式推理 · 张量并行 · 流水线并行中的通信需求

NCCL推理场景

NCCL与混合精度训练

FP16/BF16通信 · 梯度压缩 · 通信量减少技术

NCCL混合精度训练

通信超时处理 · 节点故障恢复 · 弹性训练中的NCCL重配置

NCCL与网络优化

InfiniBand · RoCE · TCP/IP

NCCL网络优化

NCCL与GPU拓扑优化

NVLink拓扑 · CPU亲和性 · NUMA感知

NCCL实战案例一

单机多卡ResNet训练 · 使用NCCL实现DDP并对比性能

NCCL实战案例一

NCCL实战案例二

多机多卡BERT预训练 · 配置RDMA网络并调优NCCL参数

NCCL实战案例二

NCCL实战案例三

大规模模型训练 · 结合DeepSpeed与NCCL实现…

NCCL实战案例三

NCCL常见问题排查

通信卡死 · 性能不达标 · 多节点不一致

NCCL常见问题排查

NCCL最佳实践

设计高效通信模式 · 避免常见陷阱 · 性能测试方法论

NCCL最佳实践

NCCL前沿趋势

NCCL 2.x新特性 · GPU互联技术（NVSwitch · C2C）

NCCL前沿趋势

综合项目实战

从零搭建一个多节点NCCL通信系统 · 完成训练任务并输出性能报告

综合项目实战NCCL