VIP20

本课程属于：040-日志数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

日志数据数据质量校验规则编写

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据质量概述

什么是数据质量，六大维度（完整性、准确性、一致性、及时性、唯一性、有效性），数据质量的重要性与业务影响。

校验规则基础

规则的定义与组成：规则名称、类型、校验逻辑、阈值、告警级别；规则生命周期管理。

核心概念生命周期

完整性校验

非空校验、默认值填充、必填字段检查、关联表完整性检查，保障数据不缺失。

完整性必填

准确性校验

数值范围、格式校验（日期、邮箱、手机号）、枚举值、正则表达式匹配，确保数据精确。

一致性校验

跨字段逻辑（开始日期<结束日期）、跨表一致性、主外键一致性、业务规则一致性。

及时性校验

数据延迟监控、新鲜度检查、T+1/T+0时效性、数据批次到达时间校验。

唯一性校验

主键唯一性、联合唯一索引、业务主键重复检测、去重规则设计。

有效性校验

数据字典映射、编码规范、业务状态机、数据生命周期状态校验。

字典状态机

规则引擎架构

核心组件：解析器、执行器、结果收集器；与数据管道集成；轻量级引擎实现。

SQL实现校验规则

基于SQL的完整性、准确性、一致性、唯一性检查实战编写。

Python实现校验规则

使用Pandas进行质量检查、自定义校验函数、批量规则执行框架。

规则模板化设计

通用模板（空值率、分布异常、波动检测）、参数化配置、模板复用策略。

阈值与告警机制

静态 vs 动态阈值，基于统计计算（均值、标准差、百分位数），分级告警P0/P1/P2。

规则优先级与编排

执行顺序设计、依赖关系管理、分组并行执行、熔断与降级策略。

数据质量评分卡

评分模型设计、维度权重分配、综合评分计算、评分趋势分析。

规则测试与验证

单元测试规则逻辑、模拟数据构造、回归测试策略、灰度发布规则。

规则元数据管理

规则注册中心、版本控制、变更日志、血缘追踪。

元数据血缘

实时数据质量校验

流式校验（Kafka/Flink）、实时告警推送、窗口聚合校验、延迟数据处理。

批量数据质量校验

离线批处理（Spark/MapReduce）、分区级校验、全量 vs 抽样策略。

数据质量监控看板

监控指标（通过率、告警趋势、健康度）、可视化图表、自动化报告生成。

看板可视化

异常数据修复策略

自动修复（默认值替换、格式修正）、人工修复流程、修复记录与审计。

数据质量SLA管理

SLA定义与度量、违约告警、报告生成、持续改进。

多数据源质量校验

跨数据库校验（MySQL vs Hive）、异构数据源一致性、数据同步质量监控。

数据质量与数据治理

数据标准与质量规则映射、数据目录与质量标签、资产质量评级。

规则性能优化

执行效率分析、索引优化、并行计算、规则下推策略。

数据质量工具选型

开源工具对比（Great Expectations、Deequ、Apache Griffin）、商业工具、选型决策矩阵。

Great Expectations实战

核心概念（Expectation、Suite、Checkpoint）、配置集成、自定义Expectation开发。

核心概念（Constraint、Verification Suite）、与Spark集成、自动化质量报告。

数据质量案例实战

电商订单、金融交易、用户画像数据质量治理与监控。

数据质量体系建设

组织架构与角色、流程规范、工具平台、持续改进文化。