VIP20

本课程属于：042-数据治理运营 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据血缘提取与溯源治理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据血缘基础

什么是数据血缘、血缘分析的价值、数据血缘 vs 数据地图 vs 数据目录。

数据溯源核心概念

溯源粒度（表级、字段级、行级）、溯源方向（正向溯源、反向溯源）、溯源深度。

血缘元数据模型

元数据采集范围、血缘关系模型设计（节点、边、属性）、元数据存储选型（Neo4j vs JanusGraph）。

SQL解析与血缘提取

SQL语法树解析原理、Antlr4在血缘解析中的应用、常见SQL（Select/Insert/CTE）的血缘提取。

ETL任务血缘解析

Spark SQL血缘提取、Hive SQL血缘提取、DataX/Flume等工具的血缘接入。

字段级血缘推导

字段映射关系识别、表达式解析与字段溯源、UDF函数对血缘的影响。

血缘存储与图建模

图数据库选型对比、Neo4j图模型设计实战、Cypher查询语言入门。

图数据库Neo4j

血缘可视化

D3.js血缘图渲染、力导向图布局、交互式血缘探索（展开/收起/高亮）。

血缘查询API设计

RESTful API设计原则、基于Neo4j的查询接口、分页与性能优化。

变更影响范围评估、上游依赖分析、下游影响通知机制。

数据质量问题的根因分析、基于血缘的链路追踪、异常传播路径识别。

数据质量与血缘

数据质量规则与血缘关联、质量告警的血缘传播、数据血缘驱动的质量修复。

数据安全与血缘

敏感数据识别与血缘标记、数据脱敏策略的血缘影响、合规审计中的血缘应用。

数据资产盘点

基于血缘的数据资产目录、数据热度与血缘分析、数据生命周期管理。

资产生命周期

实时血缘采集

Kafka消息中的血缘解析、Flink作业血缘提取、实时血缘存储与查询。

血缘数据治理

血缘数据质量保障、血缘数据一致性校验、血缘数据生命周期管理。

治理一致性

血缘平台架构设计

分层架构（采集层、解析层、存储层、服务层、应用层）、技术选型与对比。

血缘数据标准化

OpenLineage标准介绍、W3C PROV模型、自定义扩展与兼容性。

标准OpenLineage

血缘数据集成

与数据目录（Atlas/DataHub）集成、与数据质量平台集成、与数据安全平台集成。

血缘数据测试

血缘解析单元测试、集成测试、端到端测试、性能测试。

血缘数据监控

血缘采集延迟监控、血缘数据完整性监控、血缘服务健康检查。

血缘数据备份与恢复

图数据库备份策略、血缘数据导出与导入、灾难恢复方案。

血缘数据安全

访问控制与权限管理、数据加密、审计日志。

血缘数据合规

GDPR/CCPA合规要求、数据删除与血缘清理、合规报告生成。

血缘数据价值度量

血缘覆盖率、血缘准确率、血缘使用率、ROI评估。

血缘数据最佳实践

常见陷阱与避坑指南、性能优化技巧、团队协作模式。

血缘数据案例

金融行业数据血缘实践、电商行业数据血缘实践、医疗行业数据血缘实践。

血缘数据未来趋势

AI驱动的血缘分析、自动化血缘发现、跨组织血缘共享。

血缘数据工具生态

Apache Atlas、DataHub、Amundsen、Marquez、Egeria对比。

血缘数据项目实战

从0到1搭建血缘平台、项目规划与里程碑、上线与运维经验。