VIP20
本课程属于：021-GPU数据中心：AI算力集群部署 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

多卡通信拓扑感知调度

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 核心概念 · 整体框架
课程导入学习目标
02
基础知识
多卡通信拓扑的基本概念 · 常见拓扑结构（如环形 · 树形
基础知识多卡通信拓扑的基…
03
通信原语与模式
集合通信原语（如AllReduce · AllGather等）及其在拓扑上的…
通信原语模式
04
拓扑感知调度的动机
通信瓶颈 · 负载不均衡 · 资源利用率问题
拓扑感知调度的动…通信瓶颈
05
拓扑感知调度的核心思想
将任务映射到通信代价最小的计算节点组…
拓扑感知调度的核…将任务映射到通信…
06
硬件拓扑建模
如何获取和表示GPU · NVLink · PCIe
硬件拓扑建模GPU
07
软件拓扑抽象
常见框架（如NCCL · MPI）中的拓扑感知机制
软件拓扑抽象NCCL
08
调度问题形式化
将拓扑感知调度建模为优化问题（如图划… · 整数规划）
调度问题形式化将拓扑感知调度建…
09
启发式算法
贪心算法 · 遗传算法 · 模拟退火等在调度中的应用
启发式算法贪心算法
10
基于图神经网络的方法
学习拓扑表示并预测最优调度
基于图神经网络的…学习拓扑表示并预…
11
多租户场景下的拓扑感知调度
资源隔离与共享
多租户场景下的拓…资源隔离
12
动态拓扑感知
应对节点故障 · 网络拥塞等动态变化
动态拓扑感知应对节点故障
13
与任务调度器集成
在Kubernetes · Slurm等系统中实现拓扑感知
任务调度器集成Kubernetes
14
案例分析
NVIDIA DGX系列中的拓扑感知…
案例分析NVIDIA
15
案例分析
Google的拓扑感知调度系统（如T…
案例分析Google
16
案例分析
阿里云 · AWS等云厂商的GPU集群调度
案例分析阿里云
17
性能评估指标
通信时间 · 训练吞吐量 · 资源利用率等
性能评估指标通信时间
18
实验设计
如何设计对比实验验证拓扑感知调度的效…
实验设计如何设计对比实验…
19
常见问题与解决方案
拓扑信息不准确 · 调度开销过大等
常见问题解决方案
20
与数据并行、模型并行等并行策略的结合。
与数据并行、模型并行等并行策略的结合 · 核心概念 · 实践要点
数据并行模型并行等并行策…
21
与流水线并行、张量并行的协同调度。
与流水线并行、张量并行的协同调度 · 核心概念 · 实践要点
流水线并行张量并行的协同调…
22
大规模集群中的可扩展性挑战与优化。
大规模集群中的可扩展性挑战与优化 · 核心概念 · 实践要点
大规模集群可扩展性挑战
23
异构集群中的拓扑感知
混合GPU型号 · 不同网络带宽
异构集群拓扑感知
24
容错与迁移
任务迁移时的拓扑感知重调度
容错迁移
25
能耗优化
通过拓扑感知调度降低通信能耗
能耗优化通过拓扑感知调度…
26
安全与隐私
拓扑信息泄露风险及防护
安全隐私
27
开源工具与框架
介绍相关开源项目（如Horovod · BytePS等）的拓扑感知特性
开源工具框架
28
未来趋势
量子计算 · 光互连等新技术对拓扑感知的影响
未来趋势量子计算
29
综合实战
从零构建一个简单的拓扑感知调度器
综合实战从零构建一个简单…
30
课程总结与进阶学习路径
回顾核心要点 · 推荐论文 · 书籍和社区资源
课程总结进阶学习路径