VIP20
本课程属于：020-风控数据质量标签口径校准 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Python数据质量检查脚本实战教程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据质量检查概述
什么是数据质量 · 数据质量的重要性 · 常见数据质量问题分类（完整性
数据质量检查概述什么是数据质量
02
Python环境准备
Python版本选择 · 安装Anaconda · 创建虚拟环境
Python环境准备
03
Pandas基础回顾
Series与DataFrame创建 · 读取CSV/Excel文件 · 数据预览（head/tail/inf…
Pandas基础回顾
04
缺失值检测基础
isnull()与isna()方法 · 缺失值统计（sum/mean） · 缺失值可视化（缺失热力图）
缺失值检测基础isnull
05
缺失值处理策略
删除缺失行（dropna） · 填充缺失值（fillna） · 前向/后向填充
缺失值处理策略dropna
06
重复值检测与处理
duplicated()方法 · 重复行标记 · 删除重复行（drop_duplica…
重复值检测处理
07
数据类型检查
dtypes属性 · astype类型转换 · 检查数值列是否包含非数值（pd.to…
数据类型检查dtypes
08
范围与边界检查
数值范围合理性判断（min/max） · 异常值初步识别（基于业务规则） · 自定义范围检查函数
范围边界检查
09
唯一性约束检查
unique()与nunique()… · 检查主键列是否唯一 · 重复值索引定位
唯一性约束检查unique
10
字符串格式检查
str.contains()正则匹配 · 邮箱/手机号/日期格式验证 · 字符串长度检查
字符串格式检查str.contains
11
日期时间数据检查
pd.to_datetime转换 · 日期范围合理性 · 日期顺序检查
日期时间数据检查pd.to
12
跨列逻辑一致性检查
列间依赖关系验证（如开始日期<结束日… · 条件约束检查 · 自定义逻辑规则
跨列逻辑一致性检…列间依赖关系验证
13
数据分布概览检查
describe()统计量分析 · 偏度与峰度 · 数据分布直方图（matplotlib…
数据分布概览检查describe
14
异常值检测基础
Z-score方法原理与实现 · IQR（四分位距）方法原理与实现 · 异常值标记
异常值检测基础Z-score
15
高级异常值检测
孤立森林（Isolation For… · 使用sklearn进行异常检测 · 异常分数解读
高级异常值检测Isolation
16
数据质量报告生成
构建检查结果DataFrame · 统计各检查项通过率 · 生成HTML/Excel报告
数据质量报告生成DataFrame
17
自动化检查脚本设计
函数化封装检查逻辑 · 配置文件驱动（YAML/JSON） · 批量处理多个文件
自动化检查脚本设…函数化封装检查逻…
18
日志记录与监控
logging模块配置 · 检查过程日志输出 · 错误捕获与告警
日志记录监控
19
大数据量性能优化
chunksize分块读取 · dtype优化减少内存 · 并行处理（multiprocessi…
大数据量性能优化chunksize
20
数据质量检查框架搭建
模块化项目结构 · 检查规则注册机制 · 插件式扩展设计
数据质量检查框架…模块化项目结构
21
实战案例1
电商订单数据质量检查（缺失值 · 重复订单 · 金额异常
实战案例1电商订单数据质量…
22
实战案例2
客户信息表质量检查（身份证号格式 · 手机号格式 · 年龄范围
实战案例2客户信息表质量检…
23
实战案例3
传感器时序数据质量检查（时间戳连续性 · 数值跳变检测 · 缺失时间点补全）
实战案例3传感器时序数据质…
24
实战案例4
金融交易数据质量检查（交易金额正负 · 账户余额一致性 · 风控规则验证）
实战案例4金融交易数据质量…
25
实战案例5
医疗记录数据质量检查（患者ID唯一性 · 诊断代码有效性 · 年龄与诊断逻辑）
实战案例5ID
26
数据质量可视化仪表板
使用Plotly/Dash构建交互式… · 检查结果图表展示 · 实时更新
数据质量可视化仪…Plotly/Dash
27
数据质量检查与ETL集成
在ETL流程中嵌入检查步骤 · 失败时告警/回滚 · Airflow调度示例
ETL数据质量检查
28
数据质量元数据管理
记录检查历史 · 存储检查结果到数据库 · 趋势分析
数据质量元数据管…记录检查历史
29
数据质量最佳实践
检查规则优先级 · 阈值设定方法 · 团队协作流程
数据质量最佳实践检查规则优先级
30
课程总结与展望
回顾核心知识点 · 数据质量工具生态（Great Exp… · 未来学习路径
课程总结回顾核心知识点