VIP20
本课程属于：020-风控数据质量标签口径校准 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据质量检查Python脚本学习笔记

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据质量概述
数据质量的定义 · 数据质量六大维度（完整性 · 准确性
数据质量概述数据质量的定义
02
Python环境准备
Python与Anaconda安装 · Jupyter Notebook配置 · 虚拟环境创建
Python环境准备
03
Pandas基础回顾
DataFrame与Series创建 · 数据读取（CSV/Excel/JSO… · 数据预览（head/info/des…
Pandas基础回顾
04
缺失值检测
缺失值类型（NaN/None/空字符… · isnull()与isna()方法 · 缺失值统计（sum/mean）
缺失值检测NaN/None
05
缺失值处理
删除缺失值（dropna） · 填充缺失值（fillna） · 前向/后向填充
缺失值处理dropna
06
重复值检测
重复行检测（duplicated） · 基于指定列的重复检测 · 重复值统计
重复值检测duplicated
07
重复值处理
删除重复行（drop_duplica… · 保留第一个/最后一个重复项 · 基于组合键去重
重复值处理drop
08
异常值检测（统计方法）
Z-score方法 · IQR（四分位距）方法 · 3σ原则
异常值检测统计方法
09
异常值检测（可视化方法）
箱线图 · 直方图 · 散点图
异常值检测可视化方法
10
异常值处理
删除异常值 · 截尾处理（Winsorize） · 替换为均值/中位数
异常值处理删除异常值
11
数据类型一致性检查
数据类型强制转换 · 日期时间格式统一 · 数值型与字符串型互转
数据类型一致性检…数据类型强制转换
12
数据范围与约束检查
数值范围验证（min/max） · 枚举值验证（isin） · 正则表达式模式匹配
数据范围约束检查
13
唯一性约束检查
主键唯一性验证 · 组合键唯一性验证 · 重复索引检测
唯一性约束检查主键唯一性验证
14
跨字段逻辑校验
字段间依赖关系检查（如 · 条件必填字段检查 · 业务规则引擎设计
跨字段逻辑校验字段间依赖关系检…
15
数据完整性检查
外键完整性 · 引用完整性 · 跨表数据一致性
数据完整性检查外键完整性
16
数据时效性检查
时间戳新鲜度评估 · 数据延迟监控 · 过期数据标记
数据时效性检查时间戳新鲜度评估
17
数据分布分析
描述性统计（mean/median/… · 偏度与峰度 · 分布拟合检验（正态性检验）
数据分布分析mean/median
18
数据质量评分卡
评分维度定义 · 权重分配 · 单维度评分计算
数据质量评分卡评分维度定义
19
数据质量报告生成
报告模板设计 · HTML报告生成 · PDF报告导出
数据质量报告生成报告模板设计
20
Great Expectations入门
GE框架介绍 · Expectation Suite创… · Expectation配置
GreatExpectations
21
Great Expectations实战
批量数据验证 · 自动验证流水线 · 验证结果存储
GreatExpectations
22
数据质量监控流水线
定时任务调度（APScheduler… · 增量检查策略 · 检查结果入库
数据质量监控流水…APScheduler
23
数据质量元数据管理
检查规则元数据表设计 · 检查结果元数据 · 规则版本控制
数据质量元数据管…检查规则元数据表…
24
数据质量可视化看板
Dash/Streamlit搭建看板 · 实时质量指标展示 · 异常趋势图
数据质量可视化看…Dash/Streaml…
25
数据清洗与标准化
字符串清洗（strip/replac… · 日期格式标准化 · 地址标准化
数据清洗标准化
26
大规模数据质量检查
Dask/Modin并行处理 · 分块读取与检查 · 内存优化技巧
大规模数据质量检…Dask/Modin
27
数据质量检查API设计
Flask/FastAPI接口开发 · 检查规则动态配置 · 异步检查任务
API数据质量检查
28
数据质量与数据治理集成
数据目录对接（Apache Atla… · 数据血缘追踪 · 质量标签传播
数据质量数据治理集成
29
实战案例一
电商订单数据质量检查：订单完整性 · 金额准确性 · 状态一致性
实战案例一电商订单数据质量…
30
实战案例二
金融风控数据质量检查：客户信息完整性 · 交易异常检测 · 跨表一致性
实战案例二金融风控数据质量…