VIP20
本课程属于：005-数据流水线编排 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Airflow与Dagster调度体系对比及选型

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论：定位与哲学
为什么需要工作流调度？Airflow与Dagster的定位与核心哲学对比。
理念对比
02
核心概念对比
DAG定义、Task/Op、Operator/Solid、调度器(Scheduler)架构差异。
架构术语
03
安装与入门
Airflow的pip安装与docker-compose部署；Dagster的pip安装与dagster dev启动。
环境部署
04
DAG定义方式
Airflow的Python上下文管理器 vs Dagster的@job装饰器与GraphDefinition。
编码DSL
05
任务依赖
Airflow的>>与set_downstream vs Dagster的Op依赖与Input/Output管理。
依赖数据流
06
运算符(Operator)体系
Airflow内置Operator(Bash, Python, SQL) vs Dagster的Op与资源(Resource)。
算子扩展
07
数据传递
Airflow的XCom机制 vs Dagster的Solid之间的Input/Output与Type系统。
通信类型
08
调度策略
Airflow的schedule_interval/cron vs Dagster的@schedule装饰器与分区(Partition)。
定时分区
09
传感器(Sensor)
Airflow的BaseSensorOperator vs Dagster的@传感器(SensorDefinition)与事件驱动。
事件等待
10
执行器(Executor)对比
Airflow的LocalExecutor, CeleryExecutor, KubernetesExecutor vs Dagster的默认执行器与CeleryK8s执行器。
分布式资源
11
UI与可观测性
Airflow Webserver vs Dagster Dagit(Dagster UI)的界面、日志、任务重跑对比。
可视化调试
12
元数据存储
Airflow的SQLite/PostgreSQL元数据库 vs Dagster的Event Log存储与Dagster Instance。
存储状态
13
变量与连接
Airflow Variables & Connections vs Dagster的配置(Config)与环境变量管理。
配置密钥
14
测试与本地开发
Airflow的dag.test()与unittest vs Dagster的dagster dev与pytest集成。
测试迭代
15
CI/CD集成
Airflow的DAG版本控制与部署策略 vs Dagster的代码位置(Code Location)与分支部署。
DevOps自动化
16
资源管理
Airflow的Pool与Slot机制 vs Dagster的资源(Resource)定义与依赖注入。
并发注入
17
动态DAG生成
Airflow的Dynamic DAG生成模式 vs Dagster的@graph与动态Op组合。
元编程模板
18
错误处理与重试
Airflow的retries, retry_delay vs Dagster的RetryPolicy与Failure处理。
容错策略
19
日志管理
Airflow的日志存储与S3/GCS远程日志 vs Dagster的Compute Log Manager。
审计远程
20
权限与安全
Airflow的RBAC与LDAP集成 vs Dagster的团队空间(Workspace)与权限控制。
认证授权
21
数据血缘与治理
Airflow的Lineage支持 vs Dagster的内置Asset与Data Catalog。
血缘目录
22
资产(Asset)概念
Dagster的@asset装饰器与软件定义资产(SDA) vs Airflow的传统DAG模式。
资产声明式
23
分区与增量处理
Dagster的PartitionedConfig与TimeWindowPartitionMapping vs Airflow的DAG分区实现。
增量窗口
24
事件驱动调度
Dagster的@run_request_sensor与外部事件触发 vs Airflow的TriggerDagRunOperator。
事件触发
25
扩展性对比
Airflow的插件(Plugin)体系 vs Dagster的自定义Op与Resource扩展。
插件自定义
26
社区与生态
Airflow的Apache基金会背景与丰富Operator vs Dagster的Elementl公司主导与快速增长。
社区生态
27
性能基准
大规模DAG调度场景下Airflow与Dagster的调度延迟、资源消耗对比。
压测指标
28
迁移指南
从Airflow迁移到Dagster的步骤、常见陷阱与最佳实践。
迁移实战
29
选型决策树
根据团队规模、技术栈、运维能力选择Airflow或Dagster的决策框架。
选型框架
30
课程总结与未来趋势
两种工具的未来趋势与数据编排领域的发展方向。
展望总结