VIP20

本课程属于：026-数据湖治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据质量规则引擎从设计到应用

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据质量概述

数据质量的定义、数据质量维度（准确性、完整性、一致性、及时性、唯一性）、数据质量问题产生的原因。

规则引擎基础

规则引擎的定义、规则引擎的组成（规则库、推理引擎、工作内存）、规则引擎的工作原理（Rete算法简介）。

数据质量规则引擎架构设计

整体架构分层（数据源层、规则定义层、规则执行层、结果输出层）、核心模块设计（规则解析器、规则调度器、结果评估器）。

规则定义语言设计

JSON Schema定义规则、规则结构（规则ID、规则名称、规则类型、规则表达式、阈值、严重级别）、规则表达式语法设计。

规则解析器实现

解析JSON规则、规则表达式词法分析、语法分析、构建抽象语法树（AST）。

规则执行引擎核心

规则匹配算法（线性匹配、Rete算法、PHREAK算法）、规则冲突解决策略（优先级、最近使用、指定顺序）。

数据源连接与适配

关系型数据库（MySQL/PostgreSQL）连接、文件数据源（CSV/Parquet）读取、流式数据源（Kafka）接入。

数据源适配

数据探查与统计

数据量统计、空值率计算、唯一值统计、数据分布分析（直方图、分位数）。

准确性规则实现

字段格式校验（邮箱、手机号、身份证）、数值范围校验、参照完整性校验（外键关联）。

准确性校验

完整性规则实现

必填字段校验、非空率阈值校验、字段间依赖完整性校验（如：国家-省份-城市）。

完整性依赖

一致性规则实现

跨字段逻辑校验（如：开始日期<结束日期）、跨表数据一致性校验、枚举值一致性校验。

一致性逻辑

及时性规则实现

数据延迟时间计算、数据新鲜度校验、数据更新频率监控。

及时性监控

唯一性规则实现

单字段唯一性校验、联合主键唯一性校验、重复数据检测（基于相似度）。

唯一性去重

自定义规则扩展

用户自定义函数（UDF）注册、Groovy/Python脚本规则支持、规则模板化设计。

规则调度与执行策略

定时调度（Cron表达式）、事件驱动调度、批量执行与增量执行模式。

规则执行上下文管理

执行参数传递、数据分区处理、执行超时控制、执行日志记录。

上下文日志

结果评估与打分

规则通过/失败判定、加权评分模型、数据质量分数（DQS）计算、严重级别分级。

异常检测与告警

规则失败告警策略、告警通道配置（邮件、短信、Webhook）、告警聚合与降噪。

数据血缘与影响分析

规则执行结果与数据血缘关联、问题数据溯源、规则变更影响分析。

规则版本管理

规则版本号管理、规则变更历史记录、规则回滚机制、灰度发布规则。

规则测试与验证

单元测试框架设计、模拟数据生成、规则覆盖率测试、回归测试。

测试覆盖率

规则执行并行化、规则索引优化、内存管理优化、规则预编译技术。

分布式部署

规则引擎微服务化、分布式规则执行、任务分片与负载均衡、状态管理。

分布式微服务

可视化规则编辑器

前端规则拖拽设计、规则预览与模拟执行、规则依赖图展示。

可视化拖拽

数据质量报告与仪表盘

报告模板设计、质量趋势图、问题分布图、SLA达标率展示。

报告仪表盘

与数据治理平台集成

元数据管理集成、数据目录集成、数据标准映射、数据安全合规。

实际案例一：电商订单数据质量监控

订单数据准确性校验、订单状态流转一致性校验、支付金额完整性校验。

实际案例二：金融风控数据质量保障

客户信息完整性校验、交易数据及时性校验、黑名单数据一致性校验。

实际案例三：物联网传感器数据清洗

传感器数据格式校验、异常值检测（3σ、IQR）、时间戳对齐与补全。

案例物联网

课程总结与展望

规则引擎选型建议、AI辅助规则生成、数据质量即代码（DQaC）趋势。