VIP20

本课程属于：046-机器学习数据流水线 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

机器学习数据流水线质量验证体系

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据质量概述

什么是数据质量、数据质量的重要性、数据质量维度（准确性、完整性、一致性、及时性、唯一性）。

数据质量挑战

常见数据质量问题（缺失值、重复数据、异常值、格式不一致），数据质量问题的根源分析。

缺失值异常值重复

数据质量度量

如何定义数据质量指标、计算数据质量得分、设定数据质量阈值。

指标阈值评分

数据质量框架

DAMA数据质量框架、TDQM（全面数据质量管理）方法论、数据质量成熟度模型。

DAMATDQM成熟度

数据校验基础

什么是数据校验、校验与验证的区别、校验的时机（源头校验、过程校验、输出校验）。

校验时机验证

数据校验类型

格式校验、范围校验、业务规则校验、跨字段校验、引用完整性校验。

格式业务规则完整性

数据校验技术

正则表达式校验、数据类型校验、值域校验、逻辑校验、唯一性校验。

正则值域唯一性

数据校验工具

Python内置校验库（re、json、csv）、Pandas数据校验、Great Expectations入门。

PythonPandasGreat Expectations

Great Expectations实践

安装与配置、创建Expectation Suite、运行数据校验、生成数据文档。

Expectation数据文档

数据清洗基础

什么是数据清洗、清洗与校验的关系、清洗策略（丢弃、填充、转换、标记）。

清洗策略转换

缺失值处理

缺失值类型（MCAR、MAR、MNAR）、缺失值检测、缺失值填充方法（均值、中位数、众数、插值、模型预测）。

MCAR填充插值

重复数据处理

重复数据检测方法、去重策略（保留第一条、保留最后一条、聚合去重）、模糊匹配去重。

去重模糊匹配

异常值处理

异常值检测方法（Z-Score、IQR、DBSCAN、孤立森林）、异常值处理策略（剔除、修正、标记）。

Z-ScoreIQRDBSCAN

数据格式标准化

日期格式统一、字符串规范化（大小写、空格、编码）、数值格式统一。

日期字符串编码

数据一致性校验

跨表一致性校验、跨系统一致性校验、数据字典一致性校验。

跨表跨系统字典

数据血缘与溯源

什么是数据血缘、数据血缘的重要性、数据血缘工具（Apache Atlas、OpenLineage）、数据溯源方法。

血缘AtlasOpenLineage

数据质量监控

实时监控与离线监控、监控指标设计、告警机制、监控仪表盘设计。

实时告警仪表盘

数据质量报告

报告内容设计、报告频率、报告受众、自动化报告生成。

自动化报告

数据质量SLA

SLA定义、SLA指标、SLA违约处理、SLA与业务对齐。

SLA违约业务对齐

数据质量治理组织

数据治理委员会、数据质量角色（数据所有者、数据管家、数据消费者）、职责划分。

治理角色职责

数据质量流程

数据质量生命周期（计划、执行、检查、改进）、数据质量流程文档化。

生命周期文档化

数据质量工具选型

开源工具（Great Expectations、Deequ、Apache Griffin）、商业工具（Informatica、Talend）、选型考量因素。

开源商业选型

数据质量在数据仓库中的应用

ETL过程中的数据质量、维度建模中的数据质量、数据湖中的数据质量。

ETL维度建模数据湖

数据质量在数据湖中的应用

数据湖的挑战、数据湖治理、数据湖质量检查策略。

数据湖治理检查策略

数据质量在机器学习中的应用

训练数据质量、特征质量、预测质量、数据漂移检测。

训练数据特征漂移

数据质量在实时流处理中的应用

流数据质量挑战、实时校验策略、延迟数据处理、乱序数据处理。

实时流乱序延迟

数据质量自动化

自动化校验流水线、CI/CD中的数据质量、自动化数据质量报告。

CI/CD流水线自动化

数据质量案例分析

电商数据质量案例、金融数据质量案例、医疗数据质量案例。

电商金融医疗

数据质量最佳实践

数据质量文化建设、数据质量培训、数据质量持续改进。

文化培训改进

数据质量未来趋势

AI驱动的数据质量、数据质量即服务（DQaaS）、数据质量与数据隐私的融合。