VIP20
本课程属于：012-任务调度DAG边界 Web后端与企业应用开发 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Job Scheduler在DAG边界中的架构设计实践

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
DAG调度器在分布式系统中的定位与价…
课程导论DAG
02
核心概念
DAG（有向无环图）的定义 · 拓扑排序与调度边界
核心概念DAG
03
调度器分类
单机调度 vs 分布式调度 vs 混…
调度器分类vs
04
DAG边界定义
什么是调度边界？边界内的任务依赖与边…
DAG边界定义
05
架构总览
Job Scheduler在DAG边… · 调度引擎层 · 执行层）
架构总览Job
06
API层设计
RESTful与gRPC接口设计 · 任务提交 · 查询
API层设计
07
调度引擎核心
DAG解析器 · 依赖图构建与循环检测算法
调度引擎核心DAG
08
拓扑排序实现
Kahn算法与DFS在调度引擎中的应…
拓扑排序实现Kahn
09
任务状态机
Pending · Running · Succeeded
任务状态机Pending
10
边界资源管理
CPU · 内存 · GPU在DAG边界内的配额与抢占策略
边界资源管理CPU
11
任务队列设计
优先级队列 · 延迟队列 · 死信队列在调度中的应用
任务队列设计优先级队列
12
依赖触发机制
事件驱动 vs 轮询驱动 · 以及基于Callback的边界触发
依赖触发机制vs
13
并行度控制
DAG内最大并行度 · 扇入/扇出限制与边界流量控制
并行度控制DAG
14
容错与重试
任务失败重试策略 · 边界超时处理与幂等性设计
容错重试
15
数据血缘与边界
DAG中数据上下游依赖的追踪与边界一…
数据血缘边界
16
调度策略
FIFO · Fair · Capacity调度器在DAG边界内…
调度策略FIFO
17
动态DAG
运行时动态添加/删除节点与边的边界约…
DAG动态
18
边界缓存
中间结果缓存 · 边界数据本地化与Shuffle优化
边界缓存间结果缓存
19
监控与可观测性
DAG执行链路追踪 · Metrics采集与边界告警
监控可观测性
20
日志聚合
边界内任务日志的集中收集与关联分析
日志聚合边界内任务日志的…
21
安全边界
任务沙箱 · 权限隔离与跨边界认证
安全边界任务沙箱
22
多租户支持
租户资源隔离 · 配额管理在DAG边界中的实现
多租户支持租户资源隔离
23
调度器扩展性
插件化架构 · 自定义算子与边界扩展点
调度器扩展性插件化架构
24
大规模DAG优化
百万节点DAG的调度延迟优化与边界剪…
DAG大规模
25
边界网络通信
任务间数据传输 · RPC调用与带宽限制
边界网络通信任务间数据传输
26
存储边界
临时存储 · 持久化存储与DAG中间结果的边界生命…
存储边界临时存储
27
调度器高可用
Leader选举 · 状态持久化与边界故障转移
调度器高可用Leader
28
实战案例一
基于Airflow的DAG调度器边界…
实战案例一Airflow
29
实战案例二
自研轻量级DAG调度器的边界架构实现
实战案例二DAG
30
课程总结
DAG边界调度设计的未来趋势与最佳实…
课程总结DAG