VIP20

本课程属于：028-数据平台调度系统 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

基于DAG的复杂任务流设计

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

DAG基础概念

什么是DAG、有向无环图的数学定义、DAG在任务调度中的应用场景。

数学定义调度场景

任务流建模

任务节点定义、依赖关系建模、边与权重的设计原则。

节点建模依赖设计

拓扑排序原理

Kahn算法详解、DFS实现拓扑排序、拓扑排序的复杂度分析。

Kahn算法DFS复杂度

关键路径分析

关键路径定义、最早开始时间与最晚开始时间、关键路径算法实现。

CPM时间窗口

并行调度策略

任务并行度计算、资源约束下的调度、贪心调度算法。

并行度贪心资源约束

DAG存储与序列化

邻接矩阵、邻接表、JSON/XML序列化格式。

邻接表JSONXML

任务依赖解析

依赖传递性、循环依赖检测、依赖冲突解决。

循环检测冲突解决

动态DAG更新

节点动态添加/删除、边动态更新、增量拓扑排序。

增量排序动态图

分布式DAG执行

Master-Worker架构、任务分发策略、容错机制。

Master-Worker容错

Graphviz布局、力导向图、层级布局算法。

Graphviz力导向层级

任务优先级调度

静态优先级、动态优先级、优先级反转处理。

静态动态反转

DAG分区与分片

水平分区、垂直分区、跨节点任务协同。

水平分区垂直分区

任务状态管理

状态机设计、状态持久化、状态恢复。

状态机持久化

DAG执行引擎

执行上下文、任务调度器、结果收集器。

调度器上下文

数据依赖建模、数据血缘追踪、数据版本管理。

条件分支DAG

条件节点设计、分支合并策略、动态路径选择。

条件节点分支合并

循环与迭代DAG

循环展开、迭代收敛检测、循环优化。

循环展开收敛

DAG性能优化

任务合并、任务拆分、缓存策略。

合并拆分缓存

DAG监控与告警

执行指标采集、异常检测、告警规则设计。

指标异常检测

DAG测试策略

单元测试、集成测试、混沌工程测试。

单元集成混沌

DAG安全模型

访问控制、数据加密、审计日志。

访问控制加密审计

租户隔离、资源配额、公平调度。

隔离配额公平

DAG版本管理

版本号策略、回滚机制、灰度发布。

DAG调试技巧

断点调试、日志追踪、可视化调试。

断点日志可视化

大规模DAG优化

百万节点调度、内存优化、IO优化。

百万节点内存IO

DAG与工作流引擎

Airflow对比、DolphinScheduler对比、自研引擎设计。

AirflowDolphin自研

DAG在AI训练中的应用

模型训练DAG、数据预处理DAG、超参搜索DAG。

训练预处理超参

DAG在ETL中的应用

数据抽取DAG、数据转换DAG、数据加载DAG。

抽取转换加载

DAG在CI/CD中的应用

构建DAG、测试DAG、部署DAG。

构建测试部署

DAG未来趋势

Serverless DAG、AI驱动调度、联邦DAG。

ServerlessAI调度联邦