VIP20

本课程属于：038-AI数据底座 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

AI数据数据质量根因分析方法

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据质量概述

什么是数据质量、数据质量为什么重要、数据质量问题的常见分类。

数据质量维度详解

完整性、准确性、一致性、及时性、唯一性、有效性。

数据质量根因分析框架

DMAIC方法论、5W2H分析法、鱼骨图在数据质量中的应用。

框架方法论

数据剖析与探索

数据概况统计、缺失值分析、异常值检测、分布分析。

数据血缘与影响分析

数据血缘的概念、血缘追踪工具、影响分析在根因定位中的作用。

根因分析之5 Whys法

5 Whys的起源与原理、在数据质量场景中的应用、案例实战。

根因分析之因果图法

因果图（鱼骨图）的绘制、人机料法环测在数据质量中的映射、实战演练。

因果鱼骨图

根因分析之故障树分析

故障树（FTA）基础、与数据质量问题的结合、定量与定性分析。

根因分析之假设检验

统计假设检验基础、T检验与卡方检验在数据质量中的应用、P值解读。

根因分析之相关性分析

皮尔逊相关系数、斯皮尔曼秩相关、偏相关分析、实战案例。

根因分析之回归分析

线性回归与逻辑回归、回归系数解读、残差分析在异常定位中的应用。

根因分析之聚类分析

K-Means聚类、DBSCAN聚类、聚类结果在根因分组中的应用。

根因分析之决策树与随机森林

决策树规则提取、特征重要性排序、随机森林在根因识别中的应用。

树模型特征

根因分析之时间序列分析

时间序列分解、趋势与季节性分析、突变点检测。

根因分析之文本挖掘

日志文本分析、关键词提取、主题模型在根因定位中的应用。

根因分析之图算法

PageRank、社区发现、图传播算法在数据血缘根因中的应用。

图算法传播

数据质量监控与告警

监控指标设计、告警阈值设定、告警风暴处理。

数据质量根因分析工具

Great Expectations、Apache Griffin、Deequ、自定义Python工具。

数据质量根因分析平台架构

数据采集层、存储层、分析层、可视化层。

实战案例一：电商订单

电商订单数据质量问题根因分析。

实战案例二：金融风控

金融风控数据质量问题根因分析。

实战案例三：医疗健康

医疗健康数据质量问题根因分析。

实战案例四：物联网传感器

物联网传感器数据质量问题根因分析。

实战案例五：日志数据

日志数据质量问题根因分析。

根因分析报告撰写

报告结构、可视化呈现、根因结论与建议。

报告可视化

根因分析团队协作

角色定义、流程规范、知识库建设。

根因分析自动化

自动化根因定位、自动化报告生成、自动化修复建议。

自动化效率

根因分析最佳实践

常见误区、经验总结、行业标准参考。

最佳实践标准

根因分析未来趋势

AI驱动的根因分析、因果推断、可解释性AI。

课程总结与综合实战

综合运用所学方法解决一个复杂数据质量问题。