VIP20

本课程属于：047-湖仓元数据治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

湖仓元数据血缘追踪与治理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

元数据基础

什么是元数据，技术元数据、业务元数据、管理元数据的分类，元数据的核心价值与落地挑战。

数据血缘概念

数据血缘的定义，血缘与数据地图的区别，字段级、表级、任务级三种粒度详解。

血缘追踪技术栈

日志解析（SQL/ETL日志）、字节码增强、AOP切面、数据库触发器，四大采集手段对比。

SQL解析引擎

ANTLR、Calcite、Druid SQL Parser原理对比，解析Insert/Select语句构建AST。

构建字段级血缘

从SQL提取Source/Target表，映射字段依赖，处理函数与复杂表达式。

字段映射表达式

ETL任务血缘采集

针对Spark、Hive、DataX任务的血缘解析，从执行计划中提取完整血缘链路。

实时流血缘

Kafka Connect、Flink CDC的血缘捕获，流式数据时间戳与偏移量追踪。

元数据存储选型

Neo4j、JanusGraph、MySQL/PostgreSQL对比，图数据库与关系型选型策略。

Neo4jJanusGraph

血缘图建模

节点（表、字段、任务）与边（依赖关系）的图模型设计，属性与标签定义。

图模型标签

血缘存储与查询

Cypher（Neo4j）与Gremlin查询血缘链路，性能优化与索引策略。

血缘可视化

D3.js、AntV G6、Cytoscape.js选型，大规模血缘图渲染与性能优化。

血缘影响分析

上游变更对下游影响范围分析，递归遍历血缘图，生成影响报告。

影响分析递归

血缘溯源分析

从下游反查上游来源，定位数据质量问题根因，全链路追踪。

元数据采集框架

Apache Atlas、DataHub、Amundsen架构与部署，自定义采集器开发。

Atlas深度实践

TypeSystem、Hook机制、REST API，集成Hive/HBase/Kafka。

DataHub深度实践

Metadata Service、Ingestion Framework，Python SDK开发实战。

元数据质量评估

完整性、准确性、及时性、一致性四个维度度量指标与监控。

血缘质量治理

血缘缺失检测、冗余清理、循环依赖检测、冲突解决。

治理循环依赖

元数据标准化

命名规范、数据类型映射、枚举值统一、元数据字典建设。

元数据权限管理

RBAC模型在元数据系统中的应用，表级/字段级权限控制。

元数据变更管理

Schema变更通知、血缘自动更新、版本管理与回滚。

数据目录建设

Elasticsearch搜索、标签、分类、热度统计，提升数据可发现性。

数据资产盘点

自动化扫描元数据，生成资产清单，识别僵尸表与冗余字段。

资产僵尸表

元数据与数据质量联动

血缘驱动的质量规则推荐，异常数据自动告警与根因分析。

质量规则告警

元数据与数据安全

敏感数据识别（PII/PCI）、脱敏策略、数据泄露追踪。

元数据API设计

RESTful与GraphQL API设计，分页、过滤、批量操作。

元数据事件驱动

Kafka事件总线，元数据变更事件的发布与订阅，实时同步。

大规模元数据系统架构

分布式采集、分层存储、缓存策略（Redis）、读写分离。

元数据治理最佳实践

金融/电商公司治理案例，落地过程与踩坑记录。

元数据治理未来趋势

Data Mesh、Active Metadata、AI驱动的元数据管理。