01
数据质量概论
数据质量的定义、核心维度(准确性、完整性、一致性、及时性、唯一性),以及数据质量对业务决策与系统可信度的关键影响。
维度业务影响
02
数据校验基础
校验与验证的区别,源头、过程、输出三种校验时机,字段级、记录级、表级校验粒度及适用场景。
时机粒度
03
数据质量模型
DAMA、TDQM、DQAF等经典质量模型解析,如何根据业务特性选择模型,以及度量指标的设计方法。
DAMA度量
04
数据质量规则引擎
规则引擎架构设计、配置与部署策略,调度与监控机制,实现自动化质量校验。
架构调度
05
数据质量监控与告警
监控指标设计、告警阈值与通知方式(邮件、短信、钉钉),以及告警升级与闭环处理机制。
告警通知
06
数据质量报告与仪表盘
报告设计原则、KPI仪表盘构建、自动化报告生成与分发,帮助团队快速解读质量态势。
KPI自动化
07
数据质量治理流程
PDCA循环驱动质量治理,从问题发现、根因分析、修复验证到关闭复盘的全链路实践。
PDCA根因
08
数据质量元数据管理
元数据概念、采集存储与血缘分析,利用元数据提升质量问题的溯源与影响分析能力。
血缘采集
09
数据质量自动化测试
框架选型、测试用例设计(边界值、等价类、异常场景),数据准备与测试报告生成。
自动化用例
10
数据质量在数据仓库中的应用
ODS、DWD、DWS、ADS分层校验策略,ETL质量保障与数据回滚补偿机制。
分层ETL
11
数据质量在实时数据流中的应用
Kafka/Flink架构下应对延迟、乱序、重复的实时校验方案,以及监控告警处理。
实时Flink
12
数据质量在数据湖中的应用
Delta Lake、Iceberg、Hudi的ACID特性与Schema演进,版本管理与回滚保障质量。
数据湖ACID
13
数据质量在机器学习中的应用
特征与训练数据校验、模型输入输出验证、数据漂移检测及重训练触发机制。
漂移特征
14
数据质量在数据中台中的应用
数据资产目录与质量评分卡,数据服务SLA保障,提升中台数据可信度。
评分卡SLA
15
数据质量在数据交换与共享中的应用
JSON/XML/Avro/Parquet标准校验,共享安全与审计追溯,保障交换链路质量。
交换审计
16
数据质量在数据安全与隐私中的应用
脱敏、匿名化与质量平衡,访问控制及GDPR/CCPA合规校验。
隐私合规
17
数据质量在数据治理平台中的应用
治理平台架构、质量模块设计,与数据目录、血缘的深度联动。
平台集成
18
数据质量在数据服务API中的应用
API响应校验、版本管理与质量监控,保障服务级数据一致性。
API监控
19
数据质量在数据备份与恢复中的应用
备份数据质量校验、恢复验证与灾难演练,确保数据可恢复性。
备份恢复
20
数据质量在数据归档与清理中的应用
归档质量评估、清理规则与生命周期管理,保证归档数据可恢复。
归档生命周期
21
数据质量在数据标准与规范中的应用
标准定义、质量规则映射与规范执行,标准变更对质量的影响管理。
标准规范
22
数据质量在数据模型设计中的应用
范式化/反范式化设计原则,模型评审与变更对质量的影响。
模型评审
23
数据质量在数据采集与接入中的应用
数据源评估、格式/类型/范围校验,接入失败重试与采集审计。
采集接入
24
数据质量在数据清洗与转换中的应用
去重、填充、标准化规则,转换原子性与一致性,清洗后质量验证。
清洗转换
25
数据质量在数据存储与索引中的应用
行存/列存格式选择,索引设计与查询质量,存储冗余与一致性平衡。
存储索引
26
数据质量在数据查询与分析中的应用
查询结果准确性校验,性能与质量权衡,分析过程预警机制。
查询分析
27
数据质量在数据可视化中的应用
可视化数据源质量、图表准确性,避免误导并保障交互式报表质量。
可视化报表
28
数据质量在数据产品中的应用
数据产品质量指标、测试与发布监控,保障产品级数据可信。
产品发布
29
数据质量在数据运营中的应用
运营指标与质量保障,团队质量职责与持续改进机制。
运营改进
30
数据质量未来趋势与挑战
AI驱动质量、DQaC、Data Mesh/Fabric,多模态与边缘数据新挑战。
趋势AI