VIP20

本课程属于：041-数据主数据管理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

主数据血缘分析实战应用

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据血缘概述

什么是数据血缘、数据血缘与数据地图的区别、数据血缘在数据治理中的价值。

主数据管理基础

主数据概念、主数据管理核心流程、主数据与元数据的关系。

主数据流程

血缘分析技术栈

ETL工具、数据目录工具、图数据库选型（Neo4j vs JanusGraph）。

技术栈选型

元数据采集实战

Hive元数据采集、MySQL元数据采集、Kafka元数据采集。

采集元数据

血缘关系建模

节点与边的设计、属性定义、关系类型（依赖、派生、映射）。

图数据库搭建

Neo4j安装配置、Cypher基础语法、索引与约束。

血缘数据入库

Python批量导入血缘数据、使用LOAD CSV、APOC组件。

字段级血缘解析

SQL解析器选型、SQL解析树构建、字段映射提取。

SQL解析字段级

表级血缘分析

表依赖关系推导、循环依赖检测、血缘环处理。

表级循环依赖

ETL血缘追踪

Sqoop、DataX、Kettle的血缘解析实战。

实时血缘计算

Flink CDC捕获变更、Kafka Streams实时血缘、状态管理。

血缘可视化

D3.js血缘图渲染、力导向图布局、交互式探索。

血缘查询API

RESTful API设计、Cypher动态查询、分页与过滤。

影响分析实战

上游变更影响范围评估、下游依赖链路追踪。

影响分析链路

数据溯源实战

从报表到源系统的全链路回溯、数据质量根因分析。

血缘质量度量

完整性、准确性、时效性指标设计、血缘覆盖率计算。

数据资产目录集成

Apache Atlas集成、DataHub对接、Marquez使用。

血缘安全与权限

字段级脱敏策略、血缘数据访问控制、审计日志。

大规模血缘优化

批量写入优化、查询性能调优、数据分片策略。

血缘数据治理

血缘数据生命周期管理、版本控制、归档策略。

治理生命周期

跨系统血缘

Hadoop与MPP数据库血缘、云原生数据湖血缘。

跨系统数据湖

数据标准与血缘

标准字段映射、数据字典与血缘联动、合规检查。

NLP解析文档血缘、机器学习预测数据流向。

血缘测试框架

单元测试、集成测试、回归测试、血缘数据比对。

CI/CD流水线中血缘校验、自动化血缘报告生成。

行业案例1：金融

金融行业监管报送数据血缘、风控模型数据溯源。

行业案例2：电商

电商大促数据链路监控、实时推荐系统血缘。

行业案例3：医疗

医疗健康数据合规血缘、患者数据全链路追踪。

血缘平台架构设计

微服务架构、事件驱动、可观测性设计。

架构微服务

课程总结与展望

数据网格与血缘、Data Fabric趋势、未来挑战。