VIP20

本课程属于：023-数据血缘与目录 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据血缘联动质量监控体系

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据血缘基础

什么是数据血缘、血缘的元数据模型、血缘在数据治理中的价值。

元数据治理

质量监控体系概述

数据质量六大维度（完整性、准确性、一致性、及时性、唯一性、有效性）、监控体系架构设计。

质量维度架构

血缘与质量的关联

为什么质量监控需要依赖血缘、血缘如何定位质量问题的根因。

根因分析联动

血缘采集技术

SQL解析（ANTLR、JSqlParser）、日志采集（Spark Lineage、Airflow）、手动标注。

SQL解析日志采集

血缘存储与查询

图数据库选型（Neo4j vs JanusGraph）、血缘图谱的存储模型设计。

图数据库存储模型

质量规则引擎

规则定义语言（JSON/YAML）、规则分类（表级、字段级、跨表级）、规则调度。

规则引擎调度

质量度量计算

离线计算（Spark SQL）、实时计算（Flink CEP）、采样与全量策略。

离线计算实时计算

血缘驱动的根因分析

基于DAG的反向追溯算法、影响分析（Impact Analysis）。

DAG影响分析

联动告警机制

告警分级（P0-P3）、告警收敛（聚合、去重）、通知渠道（钉钉、邮件、短信）。

可视化与报告

血缘图谱可视化（D3.js、G6）、质量仪表盘（Grafana）、定期报告生成。

可视化仪表盘

元数据采集与同步

Hive Metastore、Tableau Catalog、Atlas集成。

元数据集成

数据湖场景的血缘

Delta Lake、Iceberg、Hudi的表血缘与文件级血缘。

数据湖文件血缘

实时流场景的血缘

Kafka Connect、Flink SQL的血缘自动推导。

实时流自动推导

数据仓库场景的血缘

维度建模中的血缘、ETL脚本解析。

数据仓库ETL

跨平台血缘打通

Hadoop -> ClickHouse -> BI工具的全链路血缘。

跨平台全链路

质量监控的SLA管理

SLA定义、SLA违约检测、SLA与血缘的联动。

SLA违约检测

数据回滚与修复

基于血缘的精准回滚、修复脚本自动生成。

数据资产目录

血缘驱动的数据字典、数据热度分析、数据生命周期管理。

资产目录生命周期

合规与审计

GDPR下的数据溯源、审计日志与血缘的结合。

血缘质量监控平台架构

微服务设计、API设计（RESTful/GraphQL）、数据模型。

技术选型对比

Apache Atlas vs DataHub vs Amundsen vs 自研。

血缘图查询优化（索引、缓存）、质量计算任务优化（资源预估、并行度）。

测试与验证

血缘正确性测试、质量规则覆盖率测试、端到端联调。

血缘与质量规则纳入数据Pipeline的CI/CD流程。

血缘存储成本、质量计算成本、告警成本优化。

组织与流程

数据治理委员会、血缘Owner机制、质量SOP。

案例1：金融风控场景

血缘质量联动在反欺诈数据链路中的应用。

案例2：电商推荐场景

血缘质量联动在用户画像数据链路中的应用。

案例3：物联网场景

血缘质量联动在传感器数据链路中的应用。

物联网传感器

AI驱动的血缘自动补全、质量预测、Data Mesh下的血缘治理。