VIP20
本课程属于：020-风控数据质量标签口径校准 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据质量检查Python实现指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据质量概述
数据质量的定义 · 数据质量维度（准确性 · 完整性
数据质量概述数据质量的定义
02
Python数据质量检查环境搭建
Python安装 · pip配置 · 虚拟环境创建
Python数据质量检查环境…
03
Pandas基础
Series与DataFrame创建 · 数据读取（CSV · Excel
PandasSeries
04
缺失值检测
isnull() · sum() · isna()
缺失值检测isnull
05
缺失值处理
dropna()删除缺失值 · fillna()填充缺失值（均值 · 中位数
缺失值处理dropna
06
重复值检测与处理
duplicated() · drop_duplicates() · 基于特定列的重复值判断
重复值检测处理
07
数据类型检查
dtypes属性 · astype()类型转换 · to_numeric()
数据类型检查dtypes
08
异常值检测（统计方法）
Z-score方法 · IQR（四分位距）方法 · 箱线图识别异常值
异常值检测统计方法
09
异常值检测（可视化方法）
箱线图 · 散点图 · 直方图
异常值检测可视化方法
10
异常值处理
截尾法（winsorization） · 删除异常值 · 替换为边界值
异常值处理winsorizatio…
11
数据一致性检查
跨列逻辑校验（如年龄与出生日期） · 枚举值校验 · 正则表达式校验（邮箱
数据一致性检查跨列逻辑校验
12
数据唯一性检查
主键唯一性验证 · 组合键唯一性验证 · 重复记录标记与去重策略
数据唯一性检查主键唯一性验证
13
数据范围与边界检查
数值范围验证（最小值 · 最大值） · 日期范围验证
数据范围边界检查
14
数据格式检查
日期格式统一 · 字符串格式标准化（大小写 · 空格）
数据格式检查日期格式统一
15
跨表数据一致性检查
外键关联检查 · 多表数据比对 · 合并数据集后的质量验证
跨表数据一致性检…外键关联检查
16
数据质量评分卡设计
评分维度定义 · 权重分配 · 评分计算公式
数据质量评分卡设…评分维度定义
17
数据质量报告生成
使用Pandas生成统计摘要 · 使用Matplotlib/Seabo… · 导出为HTML/PDF
数据质量报告生成Pandas
18
自动化数据质量检查框架
函数封装 · 类设计 · 配置文件驱动
自动化数据质量检…函数封装
19
Great Expectations库入门
Great Expectations… · Expectation Suite创… · 数据验证与报告生成
GreatExpectations
20
Great Expectations高级应用
自定义Expectation · 数据文档自动生成 · 与数据管道集成
GreatExpectations
21
Pandas Profiling库
安装与使用 · 自动生成数据质量报告 · 报告解读与自定义配置
PandasProfiling
22
D-Tale库
交互式数据探索 · 数据质量检查 · 缺失值/异常值可视化
D-Tale交互式数据探索
23
数据质量检查与ETL流程集成
在ETL管道中嵌入质量检查 · 失败处理机制 · 告警通知
ETL数据质量检查
24
实时数据质量监控
基于流数据（Kafka）的质量检查 · 滑动窗口统计 · 实时告警
实时数据质量监控Kafka
25
数据血缘与质量追溯
数据血缘概念 · 使用Python追踪数据变换 · 质量问题的根因分析
数据血缘质量追溯
26
数据质量元数据管理
元数据采集 · 质量规则元数据存储 · 使用SQLite/PostgreSQ…
数据质量元数据管…元数据采集
27
数据质量检查最佳实践
检查优先级排序 · 阈值设定 · 误报与漏报平衡
数据质量检查最佳…检查优先级排序
28
案例实战1
电商订单数据质量检查——缺失值 · 重复订单 · 金额异常
案例实战1电商订单数据质量…
29
案例实战2
金融风控数据质量检查——身份证校验 · 黑名单匹配 · 跨表一致性
案例实战2金融风控数据质量…
30
案例实战3
医疗健康数据质量检查——患者ID唯一… · 诊断编码标准 · 实验室值范围
案例实战3ID