VIP20
本课程属于：020-实时指标平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据质量校验体系搭建

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
第01章
数据质量概述
什么是数据质量、重要性、六大维度：准确性、完整性、一致性、及时性、唯一性、有效性。
基础维度
第02章
数据质量校验体系总览
体系架构图、核心组件、校验流程、与数据治理的关系。
架构总览
第03章
准确性校验
定义与标准、字段级校验规则、跨字段逻辑校验、基于参考数据的校验。
规则字段
第04章
完整性校验
非空校验、默认值填充、缺失值模式识别、记录级完整性检查。
缺失记录
第05章
一致性校验
格式一致性、编码一致性、单位一致性、跨系统数据一致性。
格式跨系统
第06章
及时性校验
数据延迟定义、SLA监控、时间戳校验、实时与批量场景处理。
延迟SLA
第07章
唯一性校验
主键唯一性、业务键唯一性、重复记录检测、去重策略。
去重主键
第08章
有效性校验
值域校验、枚举值校验、正则表达式校验、业务规则校验。
枚举正则
第09章
校验规则引擎设计
规则定义语言、规则解析器、规则执行引擎、规则版本管理。
引擎解析
第10章
校验规则配置与管理
规则模板、参数化配置、规则优先级、规则生命周期。
配置管理
第11章
数据源接入与适配
关系型数据库、NoSQL、消息队列、文件系统、API接口。
数据源适配
第12章
校验任务调度
定时调度、事件驱动调度、依赖调度、分布式调度策略。
调度分布式
第13章
校验结果存储
结果表设计、明细与汇总、历史归档、数据血缘关联。
存储血缘
第14章
校验结果可视化
仪表盘设计、趋势图、异常告警、质量评分卡。
可视化仪表盘
第15章
告警与通知机制
告警级别、通知渠道（邮件、短信、钉钉）、告警抑制与升级。
告警通知
第16章
数据质量度量与指标
质量评分模型、维度权重、指标计算、目标基线设定。
度量评分
第17章
数据质量报告
日报、周报、月报、专题报告、自动生成与分发。
报告自动化
第18章
数据质量改进闭环
问题发现、根因分析、修复跟踪、效果评估。
改进闭环
第19章
元数据与数据质量
元数据采集、数据血缘、影响分析、质量元数据管理。
元数据血缘
第20章
数据质量与数据标准
标准定义、标准映射、标准符合度检查。
标准映射
第21章
数据质量与数据安全
敏感数据识别、脱敏校验、访问控制审计。
安全脱敏
第22章
实时数据质量校验
流式处理框架、窗口计算、实时规则匹配、延迟处理。
实时流式
第23章
大数据场景下的质量校验
分布式校验框架、数据采样、全量校验优化、Spark/Flink集成。
大数据Spark
第24章
数据质量测试
测试用例设计、自动化测试、回归测试、性能测试。
测试自动化
第25章
数据质量运营
组织架构、角色职责、流程规范、知识库建设。
运营流程
第26章
数据质量工具选型
开源工具对比（Great Expectations、Deequ、Apache Griffin）、商业工具、自研方案。
工具选型
第27章
数据质量平台架构设计
分层架构、微服务设计、高可用设计、扩展性设计。
架构微服务
第28章
数据质量项目实战（一）
需求分析、方案设计、规则开发、部署上线。
实战部署
第29章
数据质量项目实战（二）
监控运维、问题排查、持续优化、案例复盘。
运维复盘
第30章
数据质量未来趋势
AI驱动质量检测、数据质量即代码、数据网格中的数据质量、数据质量与数据编织。
趋势AI
专注课程资料整理