VIP20

本课程属于：038-AI数据底座 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

AI数据数据质量监控体系搭建

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据质量概述

什么是数据质量、数据质量的重要性、数据质量问题的常见类型。

数据质量维度详解

完整性、准确性、一致性、及时性、唯一性、有效性六大维度深度解析。

数据质量监控体系设计原则

从业务出发、自动化优先、分级监控、闭环管理四大设计原则。

数据质量监控技术选型

开源工具对比（Great Expectations、Deequ、Apache Griffin）及商业工具简介。

数据质量监控体系架构设计

分层架构、数据采集层、规则引擎层、告警通知层、可视化层设计详解。

数据质量规则定义

规则分类（表级、字段级、跨表级）、规则模板设计、规则元数据管理。

规则元数据

数据质量规则开发实战（一）

完整性规则开发：空值检测、缺失率计算，从零实现监控逻辑。

实战完整性

数据质量规则开发实战（二）

准确性规则开发：值域校验、格式校验、业务逻辑校验。

实战准确性

数据质量规则开发实战（三）

一致性规则开发：跨表关联校验、枚举值一致性检测。

实战一致性

数据质量规则开发实战（四）

及时性规则开发：数据延迟监控、数据新鲜度计算。

实战及时性

数据质量规则开发实战（五）

唯一性规则开发：主键重复检测、业务唯一键校验。

实战唯一性

数据质量规则开发实战（六）

有效性规则开发：数据类型校验、长度校验、正则表达式校验。

实战有效性

数据质量监控调度策略

定时调度、事件驱动调度、增量与全量扫描策略详解。

数据质量监控结果存储

结果表设计、历史趋势存储、异常明细存储方案。

数据质量告警通知机制

告警级别定义、通知渠道（邮件、短信、钉钉/企微机器人）、告警聚合与降噪。

数据质量监控可视化看板

核心指标设计、趋势图、异常分布图、数据质量评分卡。

可视化看板

数据质量监控体系与数据治理的集成

元数据管理、数据血缘、数据目录的深度集成实践。

数据质量监控体系与CI/CD的集成

数据管道测试、数据质量门禁，保障发布质量。

数据质量监控体系与数据仓库的集成

ODS层、DWD层、DWS层、ADS层全链路监控方案。

数据质量监控体系与实时数据流的集成

Kafka消息质量监控、Flink作业数据质量检测。

数据质量监控体系与数据湖的集成

Delta Lake / Lakehouse 数据质量保证机制。

数据湖Lakehouse

数据质量监控体系与机器学习的集成

特征数据质量监控、训练数据分布漂移检测。

数据质量监控体系运维

规则生命周期管理、监控任务性能优化、异常处理SOP。

数据质量监控体系度量与评估

数据质量评分模型、SLA制定、数据质量报告。

数据质量监控体系最佳实践（一）

电商场景数据质量监控案例，涵盖订单、用户、库存等核心数据。

数据质量监控体系最佳实践（二）

金融风控场景数据质量监控案例，保障交易与风控数据可靠。

数据质量监控体系最佳实践（三）

物联网(IoT)场景数据质量监控案例，处理海量传感器时序数据。

数据质量监控体系最佳实践（四）

医疗健康场景数据质量监控案例，确保患者数据准确合规。

数据质量监控体系演进趋势

AI驱动的智能监控、Data Observability（数据可观测性）前沿探索。

课程总结与展望

构建企业级数据质量文化的关键要素，从技术到管理全面复盘。