VIP20
本课程属于:014-GPU集群 AI算力与GPU工程 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

任务调度机制深度拆解

📚 共计 30 章节
01
调度系统概述
什么是任务调度 · 调度系统演进历史 · 分布式核心地位
概念历史
02
单机调度基础
进程/线程/协程调度 · CFS · 时间片轮转
操作系统策略
03
分布式调度模型
Master-Worker · Leader-Follower · 共享/无状态调度
架构模式
04
任务队列与消息中间件
Redis队列 · RabbitMQ · Kafka · 延迟队列实现
MQ延迟
05
调度算法深度解析
FIFO · 优先级 · 最短作业 · 多级反馈 · 公平调度
算法排队
06
资源管理与分配
静态/动态资源 · 抢占回收 · YARN调度器
资源YARN
07
任务依赖与DAG调度
DAG建模 · 拓扑排序 · 关键路径 · 依赖冲突
DAG依赖
08
容错与高可用机制
失败重试 · 故障转移 · 检查点 · 幂等性
容错HA
09
分布式锁与一致性
Redis/ZK/Etcd锁 · Lease · 脑裂问题
锁一致性
10
时间轮算法
时间轮原理 · 层级时间轮 · 定时任务 · 性能优化
时间轮定时
11
Cron表达式与定时触发
Cron语法 · Quartz · 分布式Cron · 冲突检测
CronQuartz
12
工作流引擎
工作流定义 · 状态机 · BPMN · 执行引擎设计
工作流BPMN
13
任务编排与编排引擎
声明式/命令式编排 · K8s Job · Argo Workflows
编排K8s
14
调度系统性能优化
延迟优化 · 吞吐量 · 批量调度 · 预调度与缓存
性能优化
15
任务优先级与抢占
优先级队列 · 反转/继承 · 抢占式调度
优先级抢占
16
数据本地性与亲和性调度
数据本地性 · 机架感知 · 节点亲和/反亲和
本地性亲和
17
弹性伸缩与自动扩缩容
负载伸缩 · 预测性 · HPA/VPA · Cluster Autoscaler
弹性K8s
18
任务状态管理与监控
状态机 · 持久化 · 事件驱动 · 告警策略
状态监控
19
调度系统安全
认证授权 · 任务隔离 · 沙箱 · 审计日志
安全隔离
20
多租户调度
租户隔离 · 配额 · 公平共享 · QoS保障
多租户QoS
21
实时调度与流处理
Storm Trident · Flink调度 · Spark Streaming · 微批次
流处理实时
22
批处理调度
MapReduce · Spark DAG Scheduler · 批处理优化
批处理MapReduce
23
AI/ML任务调度
GPU资源 · 训练/推理调度 · MLflow集成
AIGPU
24
边缘计算调度
边缘节点 · 离线任务 · 网络感知 · 边云协同
边缘协同
25
Serverless调度
FaaS调度 · 冷启动优化 · 并发控制 · 按需分配
ServerlessFaaS
26
调度系统测试与验证
单元/集成测试 · 混沌工程 · 调度模拟器
测试混沌
27
开源调度框架对比
Airflow · DolphinScheduler · XXL-JOB · Elastic-Job · Temporal
开源对比
28
调度系统设计实战
需求分析 · 架构设计 · 技术选型 · 核心代码
实战设计
29
调度系统运维与排障
日志分析 · 性能调优 · 常见问题 · 应急响应
运维排障
30
未来趋势与展望
AI驱动调度 · 无服务器 · 跨云 · 调度即服务
趋势SaaS