VIP20
本课程属于:001-GPU集群训练 AI算力与GPU工程 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

集群任务调度策略实战

📚 共计 30 章节
01
调度概述
什么是集群调度 · 核心目标(吞吐量、延迟、资源利用率)· 策略分类
基础概念
02
资源模型
CPU/内存/GPU/网络带宽抽象 · Requests & Limits
资源建模
03
调度架构
集中式 · 两级 · 共享状态 · 分布式调度器对比
架构对比
04
FIFO调度
先来先服务原理 · 优缺点 · 适用场景
经典队列
05
公平调度 (Fair Scheduling)
核心思想 · 主导资源公平(DRF)算法详解
公平DRF
06
容量调度 (Capacity Scheduling)
容量保证 · 弹性共享 · 队列配置与资源隔离
容量隔离
07
优先级调度
静态/动态优先级 · 优先级反转与继承
优先级反转
08
延迟调度 (Delay Scheduling)
数据本地性优化 · 延迟等待 · Spark/Hadoop应用
本地性Spark
09
抢占式调度
抢占条件与代价 · 优雅/强制抢占 · 死锁预防
抢占死锁
10
Gang调度
集体调度 All-or-Nothing · MPI作业 · 资源碎片
集体MPI
11
Backfill调度
回填策略 · 作业预测与预留 · LSF/PBS实践
回填HPC
12
拓扑感知调度
NUMA感知 · 网络拓扑 · GPU拓扑感知
拓扑NUMA
13
亲和性与反亲和性调度
节点亲和性 · Pod亲和性/反亲和性 (K8s语境)
亲和性K8s
14
负载均衡调度
最小连接数 · 加权轮询 · 一致性哈希
均衡哈希
15
数据本地性调度
计算向数据移动 · 本地性级别(节点/机架/数据中心)
本地性数据
16
资源碎片整理
碎片产生原因 · 整理策略 · 在线迁移与重调度
碎片迁移
17
作业依赖调度
DAG调度 · 拓扑排序 · 关键路径分析
DAG依赖
18
实时调度
截止时间驱动 · RMS · 最早截止时间优先 EDF
实时EDF
19
能耗感知调度
DVFS技术 · 功耗与性能权衡 · 绿色调度
能耗绿色
20
机器学习调度
强化学习调度 · 预测运行时间 · 自适应
ML强化学习
21
Kubernetes调度器
kube-scheduler架构 · Scheduling Framework · 扩展点
K8s扩展
22
YARN调度器
FIFO/Capacity/Fair Scheduler配置与调优
YARN调优
23
Mesos调度器
两级调度 · 资源Offer · Framework注册
MesosOffer
24
Spark调度
Stage划分 · Task调度 · 动态资源 · on YARN/K8s
SparkStage
25
Flink调度
JobGraph→ExecutionGraph · Slot分配 · 故障恢复
FlinkSlot
26
Slurm调度
分区(Partition) · QoS · 作业优先级 · 多集群
SlurmHPC
27
调度策略组合
多策略叠加 · 策略优先级 · 混合调度实践
组合实践
28
调度性能评估
调度延迟/吞吐量 · Jain's index · 模拟仿真
评估指标
29
调度系统高可用
调度器热备 · 状态持久化 · 故障转移与一致性
HA一致性
30
未来趋势
Serverless调度 · 边缘调度 · 异构计算 · AI原生
趋势前沿