VIP20

本课程属于：023-数据血缘与目录 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

从字段血缘看懂数据来龙去脉方法与工程应用

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据血缘概述

什么是数据血缘、为什么需要数据血缘、数据血缘 vs 数据地图 vs 数据目录。

字段血缘的核心概念

字段级血缘、表级血缘、ETL血缘、应用层血缘的层次与定义。

血缘的粒度与层次

字段级、表级、任务级、系统级血缘的划分与适用场景。

血缘的采集方式

静态解析（SQL解析）、动态追踪（日志拦截）、混合模式对比。

SQL解析基础

词法分析、语法分析、抽象语法树（AST）的构建原理。

SQL解析实战

使用Antlr解析SQL，提取表名与字段依赖，手写解析器。

字段级血缘的提取

SELECT、JOIN、WHERE、子查询中的字段溯源与依赖分析。

复杂SQL场景

CTE、窗口函数、UNION、CASE WHEN中的血缘处理技巧。

复杂SQL高级

存储过程与脚本血缘

解析PL/SQL、Python脚本中的字段依赖与调用链。

存储过程脚本

数据血缘的存储模型

图数据库（Neo4j） vs 关系型数据库 vs 自定义元数据方案。

血缘图的构建

节点设计（表、字段、任务）、边设计（依赖关系、转换逻辑）。

图建模设计

血缘可视化

使用D3.js、ECharts或Graphviz绘制血缘关系图。

可视化前端

血缘的更新与增量维护

应对表结构变更、任务重命名，增量更新策略。

血缘的准确性验证

抽样比对、断点检测、人工审核机制保障可信度。

血缘在数据质量中的应用

影响分析、根因分析、数据回溯，提升数据可信度。

血缘在数据治理中的应用

合规审计、数据资产盘点、数据安全联动治理。

血缘在数据开发中的应用

代码Review、任务依赖优化、下线评估辅助开发。

血缘在数据运营中的应用

报表溯源、指标口径对齐、数据信任建立。

开源工具介绍

Apache Atlas、DataHub、Amundsen、Marquez 对比。

商业工具介绍

Informatica、Collibra、Alation、Talend 企业级方案。

自建血缘系统架构

采集层、解析层、存储层、服务层、展示层全设计。

血缘采集的挑战

多引擎支持（Hive、Spark、Flink、SQL Server）适配。

挑战多引擎

血缘解析的性能优化

并行解析、缓存策略、异步写入提升吞吐。

血缘数据的API设计

查询接口、订阅接口、回调接口标准化设计。

血缘与数据目录的集成

打通元数据、标签、业务术语，构建统一目录。

血缘与数据质量平台的集成

自动触发质量规则、影响范围通知闭环。

血缘与数据安全平台的集成

敏感字段识别、脱敏策略联动保障安全。

血缘在数据中台中的实践

OneData、OneService、OneID 体系下的血缘落地。

血缘在实时数仓中的应用

Flink血缘追踪、Kafka消息溯源实时链路。

AI辅助血缘解析、自动补全血缘、跨组织血缘共享。