VIP20
本课程属于：040-日志数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

日志数据数据质量监控体系搭建方案

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据质量概述
什么是数据质量、数据质量为什么重要、数据质量问题的常见场景。
基础概念业务价值
02
数据质量六大维度
完整性、准确性、一致性、及时性、唯一性、有效性。
核心框架评估标准
03
数据质量监控体系总览
监控体系的目标、核心架构、分层设计思路。
顶层设计架构
04
元数据管理
元数据定义、元数据采集、元数据血缘分析。
元数据血缘
05
数据质量度量指标
如何定义指标、指标分类、指标计算方式。
度量KPI
06
完整性监控
空值检测、缺失率计算、字段级完整性规则配置。
完整性空值
07
准确性监控
数据范围校验、格式校验、业务逻辑校验。
准确性校验
08
一致性监控
跨表一致性、跨系统一致性、历史数据一致性。
一致性对账
09
及时性监控
数据延迟监控、调度超时告警、数据新鲜度计算。
及时性延迟
10
唯一性监控
主键重复检测、业务唯一键校验、去重逻辑。
唯一性去重
11
有效性监控
枚举值校验、编码规则校验、数据字典匹配。
有效性字典
12
监控规则引擎
规则定义语言、规则解析、规则执行引擎设计。
规则引擎自动化
13
监控调度系统
定时调度、事件驱动调度、依赖调度。
调度依赖
14
告警通知机制
告警级别定义、通知渠道（邮件、短信、钉钉）、告警聚合与降噪。
告警通知
15
数据质量评分卡
评分模型设计、权重分配、评分计算与可视化。
评分卡可视化
16
数据质量报告
日报、周报、月报模板、趋势分析、根因分析。
报告分析
17
数据质量工具体系
Apache Griffin、Deequ、Great Expectations、自研工具对比。
工具对比
18
Apache Griffin实战
架构介绍、安装部署、创建质量任务、查看结果。
Griffin实战
19
Great Expectations实战
核心概念、Expectation配置、Data Docs生成。
Great Expectations配置
20
Deequ实战
Amazon Deequ介绍、Profile、Constraint、Anomaly Detection。
Deequ检测
21
自研数据质量平台
技术选型、架构设计、核心模块实现思路。
自研架构
22
数据质量与数据治理
数据治理框架、数据标准、数据质量在治理中的位置。
治理标准
23
数据质量与数据仓库
ODS层质量监控、DWD层质量监控、DWS层质量监控。
数仓分层
24
实时数据质量监控
流式数据质量检测、窗口计算、实时告警。
实时流式
25
数据质量与机器学习
特征质量监控、模型输入输出校验、数据漂移检测。
ML漂移
26
数据质量运营
组织架构、流程规范、考核机制、持续改进。
运营流程
27
数据质量案例分析（一）
电商订单数据质量治理实战。
电商案例
28
数据质量案例分析（二）
金融风控数据质量监控实战。
金融风控
29
数据质量案例分析（三）
IoT传感器数据质量处理实战。
IoT传感器
30
数据质量未来趋势
AI驱动质量检测、Data Observability、Data Mesh下的质量挑战。
趋势AI