VIP20

本课程属于：026-数据湖治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据血缘自动化采集与可视化

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据血缘概述

什么是数据血缘、为什么需要数据血缘、核心价值与挑战，奠定认知基础。

数据血缘技术栈概览

主流工具对比 (Atlas, DataHub, Marquez, OpenLineage) 及选型策略。

环境搭建与基础配置

Docker 部署、数据库初始化、元数据存储选型 (PostgreSQL/MySQL)。

OpenLineage 核心概念

Run、Job、Dataset、Facet 及事件模型深度解析。

事件模型Facet

OpenLineage 客户端集成

Python SDK 安装、基础事件发送与本地调试技巧。

SQL 解析与血缘提取

使用 sqlparse 解析 SQL，提取表级与字段级依赖。

sqlparse字段级

Spark 作业血缘采集

Spark Listener 机制、OpenLineage Spark 集成与作业级别血缘。

Airflow DAG 血缘采集

Airflow OpenLineage 插件、Task 与 Dataset 关联、调度血缘。

dbt 模型血缘采集

dbt-artifacts 解析、model 与 source 映射、dbt + OpenLineage 实战。

Flink 作业血缘采集

Flink OpenLineage 集成、DataStream 与 Table API 血缘。

FlinkDataStream

Kafka 消息血缘采集

消息生产者与消费者追踪、Schema Registry 集成。

自定义数据源接入

开发自定义 OpenLineage 客户端、扩展 Facet、适配内部系统。

元数据存储层设计

OpenLineage 后端存储、索引优化、查询性能调优。

Marquez 部署与使用

Marquez 架构、API 接口、UI 界面操作详解。

DataHub 血缘集成

DataHub 安装、OpenLineage 事件推送、UI 血缘图查看。

Apache Atlas 集成

Atlas 类型系统、REST API、与 OpenLineage 桥接。

血缘数据清洗与标准化

去重策略、字段映射、命名规范统一。

清洗标准化

血缘图构建算法

DAG 构建、拓扑排序、环检测与处理。

字段级血缘解析

列级依赖追踪、表达式解析、函数依赖提取。

列级表达式

血缘存储与查询优化

图数据库选型 (Neo4j vs JanusGraph)、索引设计。

图数据库索引

血缘可视化前端架构

React + D3.js / Cytoscape.js、组件设计。

血缘图交互设计

缩放、拖拽、高亮、搜索、过滤、详情弹窗。

血缘 API 服务设计

RESTful API 设计、分页、过滤、聚合查询。

血缘质量监控

血缘完整性校验、异常检测、告警机制。

血缘影响分析

上游影响分析、下游影响分析、变更影响评估。

影响分析变更

血缘数据治理

数据资产目录、数据地图、数据字典关联。

治理数据地图

大规模血缘系统性能优化

异步采集、批量写入、缓存策略。

血缘安全与权限控制

RBAC 模型、数据脱敏、审计日志。

企业级血缘平台案例

某金融公司数据血缘落地实践、架构演进。

课程总结与未来展望

数据网格与血缘、AI 辅助血缘解析、行业趋势。