VIP8

本课程属于：034-GPU资源调度与任务编排 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

任务调度与资源分配实战

📚 共计 30 章节

调度系统概述

什么是任务调度？为什么需要任务调度？调度系统的核心目标与挑战。

资源管理基础

CPU、内存、I/O资源模型，资源抽象与虚拟化概念。

资源虚拟化

单机调度算法（上）

先来先服务（FCFS）、短作业优先（SJF）、高响应比优先（HRRN）。

单机调度算法（下）

时间片轮转（RR）、多级反馈队列（MFQ），以及我在项目中如何选择。

分布式调度架构

集中式调度器、两层调度器、共享状态调度器的设计哲学。

架构分布式

资源分配模型

最大最小公平分配（Max-Min Fairness）、主导资源公平性（DRF）算法。

任务依赖与DAG调度

有向无环图（DAG）建模、拓扑排序、关键路径分析。

数据本地性调度

数据局部性原理、延迟调度算法、我在大数据平台中的实践。

大数据本地性

抢占与优先级调度

优先级反转、优先级继承、可抢占资源分配策略。

优先级抢占

实时任务调度

硬实时与软实时、速率单调调度（RMS）、最早截止时间优先（EDF）。

负载均衡基础

负载度量指标、轮询、最少连接、一致性哈希算法。

分布式一致性在调度中的应用

Leader选举（Raft/Paxos）、分布式锁、租约机制。

资源配额与隔离

Cgroups、Linux Namespace、Docker资源限制实战。

YARN资源调度器

YARN架构、FIFO Scheduler、Capacity Scheduler、Fair Scheduler。

Kubernetes调度器（上）

Pod调度流程、Node亲和性、Pod亲和性与反亲和性。

Kubernetes调度器（下）

自定义调度器、调度框架（Scheduling Framework）扩展点。

Mesos资源管理

两级调度架构、资源Offer机制、Framework开发入门。

任务调度中的容错设计

检查点（Checkpoint）、任务重试、幂等性设计。

工作流调度系统

Apache Airflow、DolphinScheduler架构与DAG定义。

工作流Airflow

批处理与流处理调度

Spark DAG Scheduler、Flink JobGraph调度原理。

任务优先级与资源抢占实战

如何在Kubernetes中配置PriorityClass与抢占策略。

GPU资源调度

GPU显存管理、MIG（多实例GPU）、Kubernetes GPU调度实践。

任务调度中的网络资源感知

网络带宽分配、Coflow调度模型。

存储资源调度

存储QoS、IOPS限制、分布式存储与计算协同调度。

任务调度性能调优

调度延迟优化、吞吐量提升、避免活锁与饥饿。

调度系统的可观测性

Metrics埋点、链路追踪、调度事件审计日志。

可观测追踪

AI/ML训练任务调度

弹性训练、Gang Scheduling、动态资源扩缩容。

边缘计算任务调度

边缘节点异构性、离线与在线任务混合部署、网络不稳定下的调度策略。

任务调度安全

多租户隔离、调度策略审计、防止资源滥用与DoS攻击。

安全多租户

未来趋势与总结

Serverless调度、数据驱动调度、AI for Scheduling。

趋势Serverless