VIP20
本课程属于：041-数据主数据管理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据质量监控体系搭建指南

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据质量概述
什么是数据质量、数据质量为什么重要、数据质量差的代价、数据质量监控的目标与价值。
核心概念价值驱动
02
数据质量维度详解
完整性、准确性、一致性、及时性、唯一性、有效性六大维度定义与衡量标准。
维度体系衡量标准
03
监控体系架构设计
分层架构设计（采集层、计算层、存储层、应用层）、技术选型原则。
架构设计分层
04
监控指标体系搭建
如何定义核心KPI、业务规则与监控规则的映射、阈值设定方法论。
KPI阈值
05
数据采集与接入
日志采集、数据库采集、消息队列接入、API接入的实践与注意事项。
采集接入
06
实时监控引擎设计
基于Flink/Spark Streaming的实时计算、窗口策略、状态管理。
实时计算Flink
07
离线监控引擎设计
基于Spark/MapReduce的批量计算、调度策略、历史数据回溯。
离线批量
08
规则引擎开发
规则定义语言设计、规则解析器、规则编排与组合、动态规则加载。
规则引擎动态加载
09
数据质量度量计算
SQL模板化计算、自定义UDF开发、复杂逻辑的度量实现。
度量UDF
10
告警通知机制
告警级别定义、多渠道通知（邮件、短信、钉钉/企微）、告警抑制与聚合。
告警通知
11
数据血缘与影响分析
血缘采集、字段级血缘、影响范围分析、根因定位。
血缘根因
12
数据质量看板与可视化
看板设计原则、关键指标展示、趋势分析、下钻分析。
看板可视化
13
数据质量报告与运营
日报/周报/月报生成、质量评分卡、改进建议生成。
报告运营
14
元数据管理与数据质量
元数据采集、元数据与质量规则的关联、元数据驱动监控。
元数据驱动
15
数据质量与数据治理
数据标准、数据字典、数据模型与质量监控的协同。
治理协同
16
平台后端开发
Spring Boot/Cloud架构、微服务拆分、API设计。
后端微服务
17
平台前端开发
Vue/React框架、组件化设计、交互体验优化。
前端组件化
18
平台数据库设计
MySQL、Redis、Elasticsearch的选型与表结构设计。
数据库选型
19
平台部署与运维
Docker/K8s容器化部署、CI/CD流水线、日志监控。
运维容器化
20
平台安全与权限
RBAC权限模型、数据脱敏、审计日志。
安全权限
21
平台性能优化
查询优化、缓存策略、异步处理、资源隔离。
性能优化
22
平台测试
单元测试、集成测试、性能测试、混沌工程。
测试混沌
23
版本管理与迭代
版本规划、灰度发布、回滚策略。
版本迭代
24
文档与培训
用户手册、API文档、运维手册、培训材料。
文档培训
25
案例实战
电商场景、金融场景、物联网场景的完整落地案例。
实战案例
26
故障排查
常见问题、日志分析、性能瓶颈定位、应急响应。
故障排查
27
最佳实践
架构设计最佳实践、编码规范、运维规范。
最佳实践规范
28
未来趋势
AI驱动质量预测、自适应规则、数据质量即代码。
趋势AI
29
开源方案对比
Apache Griffin、Deequ、Great Expectations等。
开源对比
30
选型与落地
企业需求分析、技术选型对比、落地路线图。
选型路线图