VIP20

本课程属于：028-数据平台调度系统 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

DAG依赖管理与任务编排实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

DAG基础概念

什么是DAG、DAG与树/链表的区别、DAG在工程中的应用场景。

图论数据结构

任务编排核心思想

任务依赖的本质、拓扑排序原理、并行与串行调度。

调度拓扑排序

Python实现DAG

使用NetworkX构建DAG、节点与边的增删改查、可视化DAG。

NetworkX可视化

拓扑排序实战

Kahn算法实现、DFS实现拓扑排序、检测环的存在。

算法环检测

任务调度器设计

任务状态机（Pending/Running/Success/Failed）、调度器核心循环、回调机制。

状态机回调

并发执行与线程池

Python ThreadPoolExecutor、任务并发控制、线程安全与锁。

并发线程池

异步任务编排

asyncio基础、异步DAG执行器、事件循环调度。

任务重试与容错

重试策略（指数退避）、失败任务回滚、超时控制。

依赖传递与数据流

上游输出作为下游输入、数据血缘追踪、中间结果缓存。

数据流血缘

条件分支与动态DAG

基于条件选择下游任务、动态生成DAG节点、运行时修改DAG。

DAG持久化与序列化

JSON/YAML序列化DAG、从数据库恢复DAG、版本控制。

序列化持久化

Airflow核心概念

DAG定义、Operator与Task、Schedule与Catchup。

编写第一个Airflow DAG、配置邮件告警、XCom传递数据。

自定义Operator、Sensor使用、Pool与Priority。

Airflow集群部署

CeleryExecutor原理、Worker与Scheduler、高可用配置。

Prefect vs Airflow、Flow与Task装饰器、自动重试。

参数化Flow、Task Runner配置、本地与远程存储。

实战参数化

Solid与Pipeline、I/O管理器、资源与环境配置。

类型系统、配置与日志、Dagit UI使用。

任务编排模式

扇入(Fan-in)与扇出(Fan-out)、MapReduce模式、工作流链。

模式MapReduce

分布式任务队列

Celery基础、RabbitMQ/Redis作为Broker、任务路由。

分布式Celery

任务优先级与抢占

优先级队列实现、资源抢占策略、公平调度。

优先级抢占

DAG监控与告警

Prometheus指标暴露、Grafana看板、自定义告警规则。

监控Prometheus

日志聚合与分析

ELK Stack集成、结构化日志、任务级日志追踪。

DAG测试策略

单元测试Task、集成测试DAG、Mock外部依赖。

GitOps工作流、DAG自动部署、回滚策略。

大规模DAG优化

DAG切分与合并、懒加载与缓存、内存管理。

安全与权限控制

RBAC模型、DAG级别权限、敏感信息加密。

实战案例一：ETL数据管道

ETL数据管道DAG设计、增量抽取与全量抽取、数据质量检查。

实战案例二：ML训练流水线

ML训练流水线、模型版本管理、A/B测试DAG编排。