01
GPU集群概述
GPU计算发展历程 · 典型架构 · AI训练/科学计算/渲染场景
发展史架构场景
02
任务调度基础
吞吐量·公平性·资源利用率 · 调度器基本工作流程
核心目标流程
03
资源抽象模型
显存/算力/拓扑量化 · 统一视图 · 预留与超分
量化超分
04
常见调度策略
FIFO · 公平调度 · 容量调度 · 优先级调度
FIFO公平容量
05
Gang Scheduling
集体调度 · All-or-Nothing · 分布式训练 · 实现难点
集体调度All-or-Nothing
06
Binpack与Spread策略
紧凑型/分散型原理 · 适用场景 · 混合策略
BinpackSpread混合
07
拓扑感知调度
NVLink/PCIe/InfiniBand · 拓扑影响 · 最优节点分配
拓扑NVLink性能
08
资源碎片管理
碎片产生原因 · 整理策略 · 碎片感知调度
碎片整理感知
09
抢占与优先级
任务抢占 · 优先级队列 · 优雅抢占与状态保存
抢占优先级状态保存
10
动态资源分配
弹性训练伸缩 · 动态GPU数量 · 自动扩缩容
弹性扩缩容
11
多租户隔离
配额管理 · 命名空间/网络/存储隔离 · 安全策略
租户隔离安全
12
任务依赖与DAG调度
DAG模型 · 依赖解析 · 并行/串行阶段优化
DAG依赖优化
13
数据本地性调度
数据亲和性 · 预取缓存 · 减少跨节点传输
本地性预取亲和
14
GPU显存管理
分配回收 · 复用技术 · 溢出处理 · Unified Memory
显存复用Unified
15
MIG与vGPU技术
NVIDIA MIG · vGPU虚拟化 · 资源建模
MIGvGPU虚拟化
16
任务排队与等待优化
M/M/c模型 · 等待预估 · 优先级反转 · 饥饿避免
排队等待饥饿
17
集群监控与可观测性
GPU指标采集 · 任务监控 · 调度器日志与事件
监控可观测指标
18
调度器选型对比
K8s+Volcano · Slurm · YARN+GPU · Ray · Univa
VolcanoSlurmRay
19
Kubernetes GPU调度
Device Plugin · Extended Resource · NFD · GPU Operator
K8sDevicePluginOperator
20
Volcano调度器详解
Volcano架构 · Queue/PodGroup · Gang调度 · Topology
VolcanoGangQueue
21
Slurm GPU调度
GRES配置 · GPU分区 · 作业数组与GPU绑定
SlurmGRES分区
22
Ray分布式调度
任务与Actor · GPU调度策略 · Placement Group
RayActorPlacement
23
训练任务优化
数据并行 · 模型并行 · 流水线并行 · 3D并行
并行3D资源需求
24
推理任务调度
延迟要求 · Batching · GPU共享与并发推理
推理Batching共享
25
成本优化策略
Spot/抢占式 · 预留与按需混合 · 优先级与成本权衡
成本Spot预留
26
大规模集群调度挑战
性能瓶颈 · 延迟优化 · 百万级任务架构
大规模性能架构
27
调度策略模拟与测试
模拟器 · 历史回放 · A/B测试 · 评估指标
模拟A/B测试评估
28
故障恢复与容错
失败重试 · 节点迁移 · Checkpoint · 调度器高可用
容错Checkpoint高可用
29
调度策略调优实战
监控发现问题 · 调整参数 · 集群优化案例
调优实战案例
30
未来趋势
异构计算 · Serverless GPU · AI调度 · 碳感知
异构Serverless碳感知