VIP20

本课程属于：023-数据血缘与目录 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

字段血缘与数据目录联动系统设计与落地

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据目录概述

什么是数据目录、核心价值以及在企业数据治理中的关键角色，为后续联动奠定认知基础。

字段血缘基础

字段血缘的定义、必要性分析，以及ETL血缘、SQL血缘、程序血缘三种核心类型详解。

数据目录与血缘的关系

数据目录如何依赖血缘、血缘如何反向丰富目录元数据，以及两者联动的典型业务场景。

元数据采集原理

JDBC、日志解析、API等采集方式对比，以及采集过程中的挑战与最佳实践。

采集元数据

SQL解析与血缘提取

SQL语法树解析、表级与字段级血缘提取，以及常见SQL方言的处理策略。

ETL任务血缘解析

Sqoop、DataX、Kettle等工具的血缘解析方法，以及自定义ETL的血缘注入方案。

程序代码血缘解析

Java/Python/Spark程序中的血缘提取技术，注解与规范驱动的自动化解析。

血缘存储模型设计

图数据库选型对比（Neo4j vs JanusGraph），血缘关系数据模型及字段级存储优化。

存储图数据库

数据目录元数据模型

数据表、字段、分区、标签、业务域等核心元数据的建模方法与规范。

建模元数据

数据目录与血缘的关联映射

如何将血缘关系挂载到目录字段上，以及关联关系的生命周期管理策略。

映射生命周期

血缘可视化技术

D3.js/Vis.js/Graphviz在前端的应用，大规模血缘图渲染优化与交互式探索设计。

可视化前端

数据目录搜索与发现

基于Elasticsearch的元数据搜索、血缘路径搜索、影响分析与溯源查询实现。

搜索Elasticsearch

影响分析实战

修改字段如何影响下游报表和任务，影响分析算法的设计与实现。

影响分析算法

溯源分析实战

从报表数据反向追踪到原始表，完整溯源路径的构建与追踪方法。

数据质量与血缘联动

质量规则绑定字段、血缘传递质量分数、异常影响范围评估机制。

数据安全与血缘联动

敏感字段识别、基于血缘的脱敏策略传播与权限继承模型。

数据生命周期与血缘联动

冷热数据识别、基于血缘的归档建议与废弃表发现方法。

生命周期归档

实时血缘采集

Kafka/Flink实时流中的血缘提取、实时数据目录更新与准实时可视化。

血缘准确性校验

验证血缘正确性的方法、抽样比对策略与自动化测试框架。

大规模血缘治理

千级表万级字段的血缘管理、血缘环检测与冗余血缘清理技术。

数据目录API设计

RESTful API设计规范、元数据查询、血缘查询及批量导入接口详解。

数据目录与数据湖/仓集成

Hive/Iceberg/Hudi/Delta Lake的元数据同步与血缘自动采集方案。

数据湖集成

数据目录与BI工具集成

Tableau/Superset/Quick BI的元数据导入、血缘与报表联动分析。

数据目录与调度系统集成

Airflow/DolphinScheduler的任务元数据同步与任务级血缘构建。

数据目录与数据建模工具集成

Erwin/PowerDesigner的模型导入、模型与物理表的血缘映射。

数据目录权限管理

RBAC/ABAC模型在目录中的应用、字段级权限控制与血缘可见性管理。

数据目录变更管理

元数据变更通知、血缘变更历史、版本对比与回滚机制。

数据目录运营指标

元数据覆盖率、血缘完整度、活跃度分析与用户行为分析。

开源数据目录工具对比

Apache Atlas vs Amundsen vs DataHub vs Marquez vs OpenMetadata 全面对比。

数据目录与血缘联动实战项目

从零搭建数据目录系统，涵盖字段血缘采集、存储、可视化、搜索、影响分析全流程。

实战全流程