VIP20

本课程属于：022-数据质量平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

从零搭建数据质量监控体系

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据质量概述

什么是数据质量、数据质量为什么重要、数据质量差的代价、数据质量监控的目标与范围。

数据质量六大维度

完整性、准确性、一致性、及时性、唯一性、有效性，每个维度的定义与业务含义。

数据质量度量指标

如何定义和计算数据质量指标，如完整率、准确率、及时率等，以及指标阈值的设定方法。

数据血缘与元数据管理

数据血缘的概念、元数据采集与存储、如何利用血缘分析定位数据质量问题。

血缘元数据

数据质量监控体系架构设计

分层架构设计（数据源层、采集层、计算层、存储层、告警层、展示层），技术选型原则。

数据源接入与探查

如何接入不同数据源（MySQL、Hive、Kafka、API等），数据探查工具与脚本编写。

数据质量规则引擎设计

规则引擎的架构、规则定义语言（DSL）、规则模板化与复用、规则优先级与依赖管理。

完整性监控实战

空值检测、缺失率计算、主键完整性校验、外键完整性校验，代码示例与最佳实践。

实战完整性

准确性监控实战

数值范围校验、格式校验、枚举值校验、业务逻辑校验（如金额平衡），代码示例与最佳实践。

实战准确性

一致性监控实战

跨表字段一致性校验、源端与目标端数据对比、ETL前后数据一致性校验，代码示例与最佳实践。

实战一致性

及时性监控实战

数据延迟监控、数据新鲜度计算、调度任务超时告警，代码示例与最佳实践。

实战及时性

唯一性监控实战

主键唯一性校验、联合唯一索引校验、重复数据检测与去重策略，代码示例与最佳实践。

实战唯一性

有效性监控实战

数据格式校验（如邮箱、手机号）、业务规则校验（如年龄范围）、参照完整性校验，代码示例与最佳实践。

实战有效性

数据质量监控调度系统

调度框架选型（Airflow、DolphinScheduler等）、DAG设计、任务依赖与重试机制。

告警与通知机制

告警级别定义（P0-P3）、多渠道告警（邮件、钉钉、企微、短信）、告警聚合与降噪、告警升级策略。

数据质量看板与可视化

看板设计原则、核心指标展示、趋势图与热力图、异常数据下钻分析，使用Superset/Grafana等工具。

可视化看板

数据质量评分卡

如何设计数据质量评分模型、权重分配、评分计算逻辑、评分趋势分析与改进建议。

数据质量监控与数据治理的集成

数据目录、数据标准、数据安全与质量监控的联动，数据治理平台的整体架构。

实时数据质量监控

实时流数据处理（Flink/Spark Streaming）、实时规则计算、实时告警与处理，与离线监控的差异。

实时流处理

数据质量监控的自动化测试

如何编写数据质量测试用例、自动化测试框架搭建、CI/CD集成、回归测试策略。

自动化测试

数据质量监控的元数据驱动

基于元数据自动生成监控规则、动态规则配置、规则生效范围管理。

元数据驱动

数据质量监控的异常处理与修复

异常数据隔离、自动修复策略（如默认值填充）、人工修复流程、问题跟踪与闭环。

数据质量监控的性能优化

大规模数据下的规则计算优化、采样检测策略、增量计算、缓存与预计算。

数据质量监控的日志与审计

监控日志规范、审计追踪、问题回溯、合规性要求（如GDPR）。

数据质量监控的团队协作与流程

角色定义（数据Owner、数据管家、数据工程师）、问题流转流程、SLA管理。

数据质量监控的成熟度评估

成熟度模型（初始级、可重复级、已定义级、量化管理级、优化级）、评估方法与改进路径。

成熟度评估

数据质量监控的行业实践

金融行业（风控数据质量）、电商行业（订单数据质量）、医疗行业（患者数据质量）的案例分享。

数据质量监控的工具与平台对比

开源工具（Great Expectations、Deequ、Apache Griffin）与商业工具（Informatica、Talend）的对比与选型建议。

数据质量监控的持续改进

PDCA循环在数据质量中的应用、质量改进计划制定、效果评估与复盘。

数据质量监控的未来趋势

AI驱动的智能质量监控、数据可观测性、Data Mesh下的质量监控、数据质量即代码（Data Quality as Code）。