VIP20

本课程属于：012-数据可观测性 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据流水线血缘追踪与可视化

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据血缘概述

什么是数据血缘、为什么需要数据血缘、数据血缘 vs 数据地图 vs 数据目录。

核心概念解析

上游与下游、数据表、字段、ETL任务、调度依赖。

血缘追踪技术栈

日志解析、SQL解析、元数据采集、API集成。

技术栈架构

SQL解析实战

使用 sqlparse 库解析 SQL 语句，提取表级与字段级依赖。

构建血缘元数据模型

设计 Python 类（TableNode, FieldEdge）存储血缘关系。

数据采集层设计

从 Hive Metastore / MySQL / Airflow 元数据库采集信息。

血缘关系存储

使用 NetworkX 构建有向图，支持增删改查。

图存储NetworkX

血缘关系合并与去重

处理多源异构数据，合并冲突与冗余边。

数据清洗合并

血缘关系版本管理

基于时间戳或版本号，追踪血缘变化历史。

血缘关系校验

环形依赖检测、孤立节点检测、断链修复。

可视化基础

使用 PyVis / Graphviz 绘制静态血缘图。

可视化静态

交互式可视化

使用 D3.js / vis.js 在前端展示动态血缘图。

血缘图布局算法

层级布局、力导向布局、径向布局。

字段级血缘展示

高亮字段路径，支持点击展开/收起。

血缘搜索与过滤

按表名、字段名、任务ID搜索，按层级过滤。

血缘影响分析

输入表变更，自动列出所有受影响的下游任务与报表。

血缘溯源分析

从报表反查，找到原始数据来源与加工链路。

血缘热度分析

统计表/字段被引用的频率，识别核心资产。

血缘质量评分

基于链路长度、数据源可信度、更新频率打分。

血缘与数据治理

结合数据字典、数据标准、数据质量规则。

血缘与调度系统集成

对接 Airflow / DolphinScheduler，自动解析 DAG 依赖。

血缘与数据湖集成

解析 Spark / Flink 作业的血缘关系。

血缘与 BI 工具集成

从 Tableau / PowerBI 提取报表级血缘。

实时血缘追踪

基于 Kafka + Flink 实现准实时血缘采集。

实时流处理

血缘可视化大屏

设计 Grafana / Superset 大屏展示血缘拓扑。

血缘 API 设计

RESTful API 提供血缘查询、搜索、导出功能。

血缘数据导出

导出为 JSON / CSV / GraphML 格式，供第三方工具使用。

导出互操作

血缘系统性能优化

缓存、索引、异步写入、图数据库选型（Neo4j vs JanusGraph）。

血缘系统安全与权限

基于角色的访问控制，敏感字段脱敏。

从零搭建一个端到端的数据血缘追踪与可视化平台。