VIP20
本课程属于：008-GPU数据中心AI算力集群部署 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大规模GPU集群多卡通信拓扑优化实践

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程大纲 · 大规模GPU集群通信挑战概述
课程导入学习目标
02
GPU集群基础
GPU架构 · NVLink · PCIe
GPU集群基础
03
多卡通信模式
集合通信（All-Reduce · All-Gather等）原理与性能特…
多卡通信模式All-Reduce
04
通信拓扑基础
常见拓扑（星型 · 树型 · 环型
通信拓扑基础常见拓扑
05
拓扑优化目标
降低延迟 · 提高带宽 · 避免拥塞
拓扑优化目标降低延迟
06
性能分析工具
NCCL · nsys · nprof等工具的使用与性能瓶颈定位
性能分析工具NCCL
07
NCCL原理与配置
NCCL的通信算法 · 拓扑感知 · 环境变量调优
NCCL原理
08
拓扑感知通信
如何利用硬件拓扑优化通信路径 · 减少跨节点通信
拓扑感知通信如何利用硬件拓扑…
09
多节点通信优化
RDMA · RoCE · InfiniBand在跨节点通信中的…
多节点通信优化RDMA
10
网络拓扑设计
数据中心网络（Fat-Tree · Clos等）对GPU通信的影响
网络拓扑设计Fat-Tree
11
通信调度策略
任务调度 · 通信与计算重叠 · 流水线并行中的通信优化
通信调度策略任务调度
12
模型并行与通信
数据并行 · 模型并行 · 混合并行中的通信模式与优化
模型并行通信
13
案例实战
基于NCCL的All-Reduce性…
案例实战NCCL
14
案例实战
多机多卡训练中的拓扑优化实践
案例实战多机多卡训练
15
常见问题
通信瓶颈识别与解决（如木桶效应 · 负载不均）
常见问题通信瓶颈识别
16
常见问题
网络拥塞与流控机制（ECN · PFC）的配置与调优
常见问题ECN
17
常见问题
拓扑变化时的自适应优化（动态拓扑）
常见问题拓扑变化时的自适…
18
高级主题
集合通信库的自定义实现与优化
高级主题集合通信库的自定…
19
高级主题
使用GPUDirect RDMA减少…
高级主题GPUDirect
20
高级主题
基于拓扑的通信调度算法设计
高级主题基于拓扑的通信调…
21
性能评估
基准测试（如nccl-tests）与…
性能评估nccl-tests
22
性能调优
从系统层面（BIOS · 驱动 · 固件）优化通信性能
性能调优BIOS
23
大规模集群实践
千卡级集群的通信拓扑优化案例
大规模集群实践千卡级集群的通信…
24
大规模集群实践
故障恢复与通信容错机制
大规模集群实践故障恢复
25
综合提升
设计一个端到端的通信优化方案
综合提升设计一个端到端的…
26
综合提升
结合AI框架（PyTorch · TensorFlow）的通信优化
综合提升AI
27
综合提升
多租户环境下的通信隔离与QoS
综合提升QoS
28
前沿趋势
NVSwitch · NVLink4 · CXL等新技术对拓扑的影响
前沿趋势NVSwitch
29
前沿趋势
液冷 · 光互连等硬件创新对通信拓扑的挑战
前沿趋势液冷
30
课程总结
核心要点回顾 · 学习路径建议 · 实践项目推荐
课程总结核心要点回顾