01
数据质量概述
什么是数据质量、为什么重要、六大维度:完整性·准确性·一致性·及时性·唯一性·有效性
维度基础
02
数据质量校验体系架构
分层架构设计、元数据驱动、规则引擎、告警与修复闭环
架构闭环
03
数据源探查与评估
数据源类型识别、量级评估、分布探查、数据血缘初探
探查评估
04
完整性校验规则
非空校验、默认值校验、记录数波动检测、字段覆盖率统计
完整性规则
05
准确性校验规则
值域校验、格式校验、精度校验、业务逻辑校验(金额=单价×数量)
准确性逻辑
06
一致性校验规则
跨表字段一致性、枚举值一致性、编码规则一致性、汇总数据一致性
一致性跨表
07
及时性校验规则
数据延迟监控、T+1时效校验、实时数据延迟阈值、数据新鲜度评分
及时性延迟
08
唯一性校验规则
主键唯一性、联合主键唯一性、业务主键重复检测、数据漂移检测
唯一性主键
09
有效性校验规则
数据格式有效性、业务状态有效性、时间有效性、数据生命周期校验
有效性状态
10
规则引擎设计
规则定义语言、规则解析器、规则执行器、规则调度策略
引擎调度
11
规则元数据管理
规则目录、版本控制、依赖关系、标签体系
元数据版本
12
规则模板化与复用
通用规则模板、行业模板、自定义模板、规则参数化
模板复用
13
规则编排与组合
规则链、规则组、规则优先级、条件分支
编排组合
14
规则执行引擎
批处理引擎、流处理引擎、混合引擎、执行计划优化
执行批流
15
数据质量度量与评分
单规则评分、综合评分模型、加权评分、时间衰减评分
度量评分
16
数据质量报告与仪表盘
报告模板、趋势分析、异常分布、质量评分看板
报告看板
17
数据质量告警机制
告警级别、渠道(邮件/短信/钉钉)、抑制、升级
告警通知
18
数据质量修复策略
自动修复、人工修复、修复流程、效果验证
修复闭环
19
数据质量监控调度
定时调度、事件驱动、数据量触发、调度依赖管理
调度监控
20
数据质量与数据治理
数据标准、目录、血缘、安全与质量联动
治理联动
21
数据质量测试
单元测试、集成测试、回归测试、压力测试
测试质量
22
数据质量SLA管理
SLA定义、监控、违约处理、报告
SLA承诺
23
数据质量成本与ROI
质量成本模型、投入产出分析、优化优先级
成本ROI
24
数据质量工具选型
开源工具 (Great Expectations, Deequ, Apache Griffin) 商业与自研对比
选型工具
25
Great Expectations实战
安装配置、Expectation定义、Data Docs生成、Checkpoint配置
GE实战
26
Deequ实战
Amazon Deequ安装、约束建议、验证分析、指标存储
Deequ验证
27
Apache Griffin实战
Griffin架构、Measure配置、Job调度、UI仪表盘
Griffin仪表盘
28
自研数据质量平台
技术选型、架构设计、核心模块实现、落地案例
自研平台
29
数据质量最佳实践
金融、电商、医疗、制造业案例
案例行业
30
数据质量未来趋势
AI驱动质量、实时质量、数据网格、Data Observability
趋势AI