VIP20

本课程属于：001-GPU集群训练 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

集群资源调度实战

📚 共计 30 章节

调度系统概述

集群资源调度的定义、核心目标（高吞吐、低延迟、资源利用率）、常见调度架构（单体调度器、两级调度器、共享状态调度器）。

资源抽象模型

CPU、内存、GPU、磁盘、网络等资源的量化表示，资源预留与超卖策略。

调度策略基础

FIFO、公平调度（Fair Scheduling）、容量调度（Capacity Scheduling）的原理与对比。

任务状态机

任务生命周期（Pending、Running、Succeeded、Failed、Killed），状态转换触发条件。

状态机生命周期

调度队列设计

层级队列、队列权重、资源配额（Quota）与限额（Limit）的配置。

抢占式调度

优先级定义、抢占策略、抢占代价计算与优雅终止。

抢占优先级

数据本地性

数据本地性级别（Node、Rack、Off-switch），延迟调度算法。

本地性延迟调度

资源分配算法

最大最小公平分配（Max-Min Fairness）、主导资源公平性（DRF）算法详解。

调度器插件机制

插件化架构设计，Filter、Score、Reserve、PreBind等扩展点。

插件扩展点

调度性能优化

调度吞吐量优化、缓存机制、批量调度、异步调度。

Kubernetes调度器

kube-scheduler架构、调度框架（Scheduling Framework）、调度器配置。

K8s调度框架

Kubernetes调度策略

NodeSelector、NodeAffinity、PodAffinity/AntiAffinity、Taints与Tolerations。

亲和性污点

Kubernetes调度插件

NodeResourcesFit、NodeName、NodeUnschedulable、TaintToleration等内置插件。

内置插件K8s

Kubernetes调度器扩展

自定义调度器开发、Scheduler Extender、调度器多配置文件。

扩展自定义

YARN架构、Capacity Scheduler配置、Fair Scheduler配置、资源抢占。

YARN容量调度

YARN调度实战

队列配置案例、用户权限控制、资源池划分、动态资源调整。

Mesos两级调度架构、Framework开发、资源Offer机制。

Mesos两级调度

Slurm架构、分区（Partition）与QoS配置、作业优先级与回填调度。

Slurm调度实战

作业提交脚本、资源限制配置、作业依赖与数组作业。

Spark任务调度流程、Stage划分、Task调度、动态资源分配。

FIFO与Fair调度模式、调度池配置、任务本地性。

Spark公平调度

Flink作业调度流程、Slot管理、调度策略（Eager、Lazy、Reactive）。

Flink调度实战

Slot分配优化、反压与调度、自适应调度。

MPI作业调度

MPI作业特性、集合通信与调度、拓扑感知调度。

MPI拓扑感知

GPU资源调度

GPU显存与算力抽象、GPU共享与隔离、MIG与vGPU技术。

GPU调度实战

Kubernetes GPU调度配置、YARN GPU调度、动态GPU分配。

调度可观测性

调度事件、调度延迟指标、调度器日志分析、Dashboard构建。

可观测监控

调度高可用

调度器主备切换、调度状态持久化、调度器无状态化设计。

高可用容错

身份认证、权限控制、资源隔离、多租户安全策略。

安全多租户

调度系统选型

不同场景下的调度器选型对比、混合调度、统一调度平台设计。

选型混合调度