VIP20

本课程属于：025-实时特征平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

特征数据质量监控体系

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据质量概述

什么是特征数据质量、为什么重要、常见数据质量问题分类。

数据质量维度

完整性、准确性、一致性、时效性、唯一性、有效性。

数据质量监控体系架构

整体架构设计、核心组件、数据流与元数据管理。

完整性监控

空值检测、缺失率计算、缺失模式分析、阈值设定与告警。

完整性检测

准确性监控

数值范围校验、格式校验、业务规则校验、异常值检测。

准确性校验

一致性监控

跨表字段一致性、枚举值一致性、主外键一致性、数据分布一致性。

一致性关联

时效性监控

数据延迟检测、数据新鲜度计算、时间戳异常检测、SLA监控。

唯一性监控

主键重复检测、联合唯一约束校验、去重率监控、业务唯一性规则。

唯一性去重

有效性监控

数据类型校验、长度校验、正则表达式校验、业务语义校验。

有效性格式

数据质量指标定义

DQ Score、DQ维度评分、数据质量SLA、质量等级划分。

数据质量监控规则引擎

规则定义语言、规则模板、规则生命周期管理、规则冲突检测。

数据质量监控调度系统

定时调度、事件驱动调度、依赖调度、调度优先级管理。

调度自动化

数据质量监控告警系统

告警级别定义、告警渠道（邮件/短信/钉钉/企微）、告警抑制与升级。

数据质量监控看板

实时监控大屏、历史趋势分析、质量报告生成、下钻分析。

可视化看板

数据质量监控元数据管理

数据源元数据、字段元数据、规则元数据、血缘关系管理。

元数据血缘

数据质量监控数据存储

监控结果存储、异常样本存储、质量指标存储、时序数据库选型。

存储时序库

数据质量监控与数据治理

数据标准、数据字典、数据目录、数据资产管理与质量联动。

数据质量监控与数据血缘

血缘分析辅助问题定位、影响分析、根因分析。

数据质量监控与数据测试

数据质量测试策略、测试用例设计、回归测试、自动化测试。

测试自动化

数据质量监控与数据开发

数据开发流程中的质量卡点、CI/CD集成、质量门禁。

数据质量监控与数据运维

日常巡检、故障排查、应急响应、质量复盘。

数据质量监控与数据安全

敏感数据识别、脱敏校验、访问控制、审计日志。

数据质量监控与数据合规

GDPR/CCPA合规要求、数据保留策略、数据删除验证。

数据质量监控与机器学习

特征质量对模型影响、训练数据质量监控、推理数据质量监控。

数据质量监控与实时数据流

Kafka/Flink流式质量监控、窗口计算、延迟数据处理。

数据质量监控与数据湖/仓

Delta Lake/Iceberg/Hudi质量保证、ACID事务与质量。

数据质量监控工具选型

Great Expectations、Deequ、Apache Griffin、自研方案对比。

数据质量监控平台建设

需求分析、技术选型、架构设计、开发实施、上线运营。

数据质量监控最佳实践

大厂案例分享、常见坑点、优化建议、团队协作模式。

数据质量监控未来趋势

AI驱动质量监控、主动质量保障、数据可观测性、Data Mesh质量。