VIP20

本课程属于：006-数据质量工程 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

企业数据质量保障体系与端到端项目建设

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据质量工程概述

数据质量的定义、数据质量的重要性、数据质量工程的全链路概念。

数据源接入与探查

数据源类型识别、数据探查工具（如Great Expectations）、元数据采集。

数据质量维度详解

完整性、准确性、一致性、及时性、唯一性、有效性。

数据质量规则引擎设计

规则定义、规则分类、规则模板、规则调度。

引擎自动化

数据质量度量与监控

度量指标设计、监控看板搭建、告警机制。

数据清洗与标准化

常见数据质量问题、清洗策略、标准化流程。

清洗标准化

数据质量报告与可视化

报告模板设计、可视化工具（如Superset）、数据血缘展示。

可视化报告

数据质量治理组织与流程

角色定义、流程设计、SLA制定。

数据质量工具选型

开源工具（Deequ、Great Expectations、Soda）对比、商业工具对比。

数据质量在数据仓库中的应用

ODS层、DWD层、DWS层、ADS层的质量保障。

数据质量在实时数据流中的应用

Kafka、Flink场景下的质量检测。

实时流处理

数据质量在数据湖中的应用

Delta Lake、Iceberg、Hudi的ACID与质量保障。

数据质量在机器学习场景中的应用

特征质量、训练数据质量、模型监控。

数据质量与数据治理的关系

数据目录、数据血缘、数据安全。

数据质量SLA制定与管理

SLA指标、SLA违约处理、SLA报告。

数据质量自动化测试框架

单元测试、集成测试、回归测试。

测试自动化

数据质量元数据管理

元数据模型、元数据采集、元数据血缘。

元数据血缘

数据质量异常检测与根因分析

异常检测算法、根因分析流程。

数据质量在数据迁移中的实践

迁移前评估、迁移中校验、迁移后验证。

数据质量在数据中台中的实践

数据中台架构、质量中台设计。

数据质量在金融行业的应用

监管合规、风控数据质量。

数据质量在电商行业的应用

用户画像、商品数据、交易数据质量。

数据质量在医疗行业的应用

患者数据、临床数据、科研数据质量。

数据质量在物联网场景的应用

传感器数据、时序数据质量。

数据质量成本与ROI分析

质量成本模型、ROI计算。

数据质量文化构建

培训、考核、激励机制。

数据质量审计与合规

数据审计、合规要求（GDPR、CCPA）。

数据质量与DataOps

CI/CD、自动化部署、质量门禁。

数据质量未来趋势

AI驱动质量、数据网格、数据契约。

数据质量工程全链路实战项目总结

项目复盘、最佳实践、持续改进。