VIP20

本课程属于：005-数据流水线编排 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Dagster数据血缘追踪与资产治理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据血缘基础

什么是数据血缘、为什么需要数据血缘、数据血缘的核心概念（上游/下游/依赖）。

数据血缘的存储模型

表级血缘、字段级血缘、ETL血缘、血缘图的存储方式（Neo4j/关系型数据库）。

Dagster是什么、Dagster与Airflow/Prefect的对比、Dagster的核心概念（Ops/Assets/Jobs/Graph）。

Dagster环境搭建

安装Dagster、启动Dagit UI、创建第一个Pipeline、理解Dagit界面。

Dagster Ops详解

定义Op、Op的输入输出、Op的上下文（context）、Op的配置与资源。

Dagster Graph与Job

组合Ops为Graph、定义Job、Job的配置与执行、Job的调度。

什么是Software-defined Assets、定义Asset、Asset的依赖关系、Asset Materialization。

Dagster IOManager

IOManager的作用、内置IOManager（本地文件/S3/GCS）、自定义IOManager。

Dagster Resources

资源的概念、配置数据库连接、配置外部API客户端、资源的环境管理。

Dagster Schedules与Sensors

定时调度（Schedule）、事件驱动调度（Sensor）、运行监控。

Dagster Partition

分区概念、时间分区、静态分区、分区与回填（Backfill）。

Op配置、Job配置、运行时配置、配置Schema验证。

Dagster Metadata与Logging

元数据记录、自定义日志、日志级别、日志聚合。

日志元数据

Op单元测试、Job集成测试、使用DagsterInstance测试、Mock外部依赖。

Dagster与dbt集成

dbt是什么、Dagster调用dbt模型、dbt测试集成、dbt文档集成。

Dagster与Spark集成

Spark Op开发、Spark Session管理、Spark作业监控。

Dagster与Airflow对比

架构差异、调度模型、血缘追踪能力、适用场景选择。

数据血缘采集策略

静态解析（SQL解析）、运行时捕获（Dagster hooks）、混合策略。

SQL解析与血缘提取

使用sqlparse/moz-sql-parser解析SQL、提取表名与字段、处理CTE与子查询。

Dagster中实现血缘追踪

利用Assets自动构建血缘图、自定义血缘元数据、血缘可视化。

血缘图的存储与查询

Neo4j图数据库存储血缘、Cypher查询血缘路径、血缘影响分析。

血缘可视化方案

D3.js绘制血缘图、Dagster内置可视化、自定义血缘仪表盘。

血缘数据质量

血缘与数据质量的关系、在血缘中嵌入质量指标、异常血缘链路告警。

血缘与数据目录

集成DataHub/Amundsen、血缘元数据同步、搜索与发现。

血缘治理与合规

数据溯源、数据隐私（GDPR）、血缘审计日志、合规报告。

大规模血缘系统设计

分布式血缘采集、血缘图分片、血缘查询性能优化。

Dagster生产化部署

Dagster Daemon、Dagit部署、Worker管理、高可用配置。

Pipeline测试自动化、Dagster代码部署、环境迁移策略。

实战案例一：电商数据平台血缘追踪

从MySQL到ClickHouse的全链路血缘。

实战案例二：实时流处理血缘追踪

Kafka → Flink → Hive → 报表的血缘构建。