VIP20

本课程属于：006-数据质量工程 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据质量规则库CI/CD与全生命周期治理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

规则库概述

什么是数据校验规则库、为什么需要规则库、规则库的核心价值与挑战。

规则分类与建模

规则分类（格式、逻辑、业务、引用）、规则元数据模型设计。

规则引擎选型

开源规则引擎对比（Drools、EasyRules、Aviator）、选型决策矩阵。

规则定义语言

DSL设计原则、YAML/JSON定义规则、规则模板化。

规则版本管理

Git管理规则文件、语义化版本、规则变更日志。

规则存储方案

文件系统、关系数据库、NoSQL（MongoDB）、配置中心（Apollo/Nacos）。

存储数据库

规则加载与缓存

规则热加载机制、本地缓存与分布式缓存、缓存一致性。

缓存热加载

规则执行引擎

顺序执行、优先级调度、并行执行、规则链。

规则冲突检测

冲突类型（互斥、冗余、循环）、静态分析与动态检测。

规则测试框架

单元测试规则、测试数据生成、覆盖率分析。

测试覆盖率

Pipeline设计、规则编译阶段、自动化测试阶段、部署阶段。

规则质量门禁

代码检查（SonarQube）、规则复杂度检查、性能基准测试。

规则发布策略

灰度发布、蓝绿部署、金丝雀发布、回滚机制。

规则监控与告警

执行耗时监控、命中率统计、异常告警、SLA保障。

规则日志与审计

全量日志记录、审计追踪、数据血缘。

规则性能优化

规则编译优化、索引策略、并行计算、预计算。

规则安全防护

注入攻击防护、权限控制、敏感数据脱敏。

规则依赖管理

规则间依赖、外部数据源依赖、依赖拓扑排序。

规则生命周期管理

创建、评审、测试、上线、下线、归档。

生命周期管理

规则协作流程

多人编辑冲突解决、Code Review流程、审批流。

规则文档化

自动生成规则文档、规则说明模板、示例数据。

文档自动化

规则迁移与兼容

跨版本迁移、向后兼容策略、数据迁移脚本。

规则库扩展性

插件化架构、SPI机制、自定义函数注册。

规则库高可用

多副本部署、故障转移、数据备份与恢复。

高可用容灾

规则库API设计

RESTful API、gRPC接口、SDK封装。

规则库与数据平台集成

与数据仓库、数据湖、流处理平台对接。

集成数据平台

规则库与AI结合

机器学习辅助规则生成、异常规则自动发现。

规则库治理

规则目录、标签体系、规则搜索、规则推荐。

规则库度量体系

规则覆盖率、规则有效率、规则维护成本。

规则库最佳实践

行业案例、常见陷阱、未来趋势。

最佳实践案例

专注课程资料整理