VIP20

本课程属于：005-数据流水线编排 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Dagster数据资产依赖管理与管道编排

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

为什么需要 Dagster？它解决了什么痛点？与其他调度工具（Airflow、Prefect）的对比。

核心概念（上）

理解 Asset（资产）、Op（操作）、Graph（图）、Job（作业）等基础构建块。

核心概念（下）

深入理解 I/O Manager、Resource（资源）、Config（配置）与 Launchpad。

使用 Docker Compose 部署 Dagster 全家桶（Dagit、Daemon、Postgres）。

第一个 Pipeline

从零开始，用 @asset 装饰器定义一个简单的 ETL 流程。

ETL快速上手

使用 @op 和 @graph 构建可复用的计算单元，理解其与 Asset 的区别。

Asset 依赖管理

使用 `deps` 参数定义资产间的上下游关系，Dagster 如何自动推导执行顺序。

依赖自动推导

I/O Manager 实战

配置本地文件系统、S3、GCS 作为数据存储，实现输入输出的解耦。

Resource 与 Config

如何管理数据库连接、等外部资源，并通过 Config 实现参数化运行。

资源参数化

Partition（分区）

按时间、地域等维度对数据进行分区处理，实现增量更新与回填。

Sensor（传感器）

监听外部事件（如文件到达、时间触发），自动启动 Pipeline 执行。

事件驱动自动化

Schedule（调度）

使用 Cron 表达式或时间间隔，定时运行你的数据作业。

Dagit UI 深度使用

探索 Runs、Assets、Launchpad 页面，学会调试与监控。

日志与告警

配置结构化日志，集成 Slack/Email 告警，第一时间发现作业失败。

测试你的 Pipeline

使用 `dagster._test` 模块对 Op 和 Asset 进行单元测试与集成测试。

代码位置与 Repository

理解 Code Location 的概念，管理多个 Repository 和 Workspace。

组织Workspace

动态生成 Pipeline

使用 `DynamicOut` 和 `DynamicFanIn` 处理数量不确定的输入。

自定义 I/O Manager

实现一个支持 Parquet 格式的 I/O Manager，并处理 Schema 演化。

使用 `dagster-dbt` 库，将 dbt 模型作为 Dagster Asset 进行编排。

与 Airflow 集成

在 Dagster 中触发 Airflow DAG，或反之，实现混合调度。

Airflow互操作

与 Spark 集成

使用 `dagster-pyspark` 或 `dagster-databricks` 运行大规模数据处理。

与 Great Expectations 集成

在 Pipeline 中嵌入数据质量检查，确保数据可靠性。

Launchpad 与 Run Config

通过 UI 或 API 动态传入配置，实现 Ad-hoc 查询。

Backfill（回填）

当上游数据修复后，如何高效地重新处理历史分区数据。

自动物化与 Freshness Policy

设置数据新鲜度策略，让 Dagster 自动决定何时重新计算。

新鲜度自动化

多环境管理

开发、测试、生产环境的配置分离，使用 Pythonic 的 Config 类。

Dagster 与 MLflow

结合 MLflow 跟踪模型训练实验，将模型注册为 Dagster Asset。

构建 Data Lakehouse

使用 Dagster 编排 Iceberg/Delta Lake 的写入与优化操作。

LakehouseIceberg

并行度控制、资源限制、缓存策略，让你的 Pipeline 跑得更快。

生产化部署

使用 Kubernetes 部署 Dagster，实现高可用与自动扩缩容。