VIP20
本课程属于：012-数据可观测性 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据质量根因追踪五步法

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据质量根因追踪五步法概述
什么是数据质量根因追踪、五步法整体框架介绍、适用场景与价值。
框架概念
02
第一步：问题定义与范围界定
如何清晰描述数据质量问题、界定影响范围、设定可量化的目标。
方法论目标
03
第一步实战：电商订单金额异常案例
案例背景介绍、问题描述与范围界定、目标设定。
实战电商
04
第二步：数据采集与初步分析
采集相关数据源、数据探查与质量评估、识别异常模式。
采集探查
05
第二步实战：电商订单金额异常数据采集
数据源梳理、SQL探查脚本编写、异常模式初步识别。
SQL实战
06
第三步：假设生成与优先级排序
基于经验与数据生成根因假设、假设分类与优先级矩阵、选择高优先级假设。
假设矩阵
07
第三步实战：订单金额异常假设生成
头脑风暴假设、假设分类（ETL/业务/系统）、优先级排序。
头脑风暴分类
08
第四步：假设验证与根因定位
设计验证实验、执行验证（SQL/代码/日志）、确认根因。
验证根因
09
第四步实战：订单金额异常假设验证
验证ETL逻辑、验证业务规则、验证系统日志。
ETL日志
10
第五步：修复与监控
制定修复方案、实施修复、建立监控告警。
修复监控
11
第五步实战：订单金额异常修复与监控
修复ETL脚本、添加业务校验、配置监控告警。
脚本告警
12
数据质量根因追踪的常用工具
SQL、Python Pandas、数据血缘工具、日志分析工具。
工具生态
13
SQL在根因追踪中的应用
窗口函数、聚合查询、异常值检测SQL模板。
SQL模板
14
Python Pandas在根因追踪中的应用
数据加载、缺失值分析、异常值检测、分组对比。
Pandas分析
15
数据血缘分析
什么是数据血缘、如何构建血缘图、血缘在根因追踪中的作用。
血缘图谱
16
日志分析技巧
应用日志、ETL日志、系统日志的解读与关联分析。
日志关联
17
常见数据质量问题的根因模式
空值问题、重复数据、数据不一致、数据延迟。
模式分类
18
空值问题的根因追踪
源系统缺失、ETL转换丢失、业务逻辑变更。
空值溯源
19
重复数据问题的根因追踪
重复抽取、Join逻辑错误、主键冲突。
重复Join
20
数据不一致问题的根因追踪
多源数据标准不统一、时区问题、单位换算错误。
不一致时区
21
数据延迟问题的根因追踪
上游任务失败、资源竞争、调度配置错误。
延迟调度
22
根因追踪的沟通与协作
如何与业务方沟通、如何与开发团队协作、文档记录。
协作沟通
23
根因追踪报告撰写
报告结构、关键发现呈现、根因分析结论、建议措施。
报告结构
24
数据质量度量与指标
数据质量维度（完整性、准确性、一致性、及时性）、度量方法。
度量维度
25
建立数据质量监控体系
监控指标设计、告警阈值设置、监控看板搭建。
监控看板
26
数据质量根因追踪的自动化
自动化探查脚本、自动化假设验证、自动化报告生成。
自动化脚本
27
案例一：金融交易数据对账不平
问题描述、五步法应用全过程、经验总结。
金融对账
28
案例二：用户画像标签数据异常
问题描述、五步法应用全过程、经验总结。
画像标签
29
案例三：供应链库存数据不准
问题描述、五步法应用全过程、经验总结。
供应链库存
30
课程总结与最佳实践
五步法核心要点回顾、常见误区、持续改进建议。
总结最佳实践
专注课程资料整理