VIP20

本课程属于：020-风控数据质量标签口径校准 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Python数据质量检测工具详解

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据质量的重要性 · 数据质量检测工具概述 · 课程目标与学习路径

课程导论数据质量的重要性

数据质量基础概念

准确性 · 完整性 · 一致性

数据质量基础概念准确性

Python环境准备

Python安装 · 虚拟环境搭建 · Jupyter Notebook配置

Python环境准备

Series与DataFrame基础 · 数据读取与写入 · 基本数据探索

Pandas数据清洗基础

处理缺失值 · 重复值检测 · 数据类型转换

Pandas数据清洗基础

Pandas数据质量检测函数

isnull · duplicated · describe

Pandas数据质量检测函数

Great Expectations框架介绍

Great Expectations… · 核心概念 · 安装与初始化

GreatExpectations

Great Expectations数据源配置

配置Pandas数据源 · 配置Spark数据源 · 配置SQL数据源

GreatExpectations

Great Expectations Expectation基础

Expectation概念 · 常用Expectation列表 · Expectation配置

GreatExpectations

Great Expectations Expectation实战

列值范围检测 · 列唯一性检测 · 列空值比例检测

GreatExpectations

Great Expectations Suite管理

创建Expectation Suit… · 运行Suite · 查看Suite报告

GreatExpectations

Great Expectations Data Docs

Data Docs生成 · Data Docs自定义 · Data Docs部署

GreatExpectations

Great Expectations高级特性

自动Profile · 数据版本控制 · Checkpoint配置

GreatExpectations

Pandas Profiling库

Pandas Profiling安装 · 基本使用 · 报告解读

PandasProfiling

Pandas Profiling高级配置

报告自定义 · 敏感信息处理 · 大规模数据优化

PandasProfiling

D-Tale安装与启动 · 交互式数据探索 · 数据质量可视化

D-Tale高级功能

列分析 · 缺失值分析 · 相关性分析

D-Tale高级功能

PySpark数据质量基础

Spark DataFrame基础 · Spark数据读取 · Spark数据质量检测函数

PySpark数据质量基础

PySpark数据质量实战

大规模数据缺失值检测 · 重复值检测 · 异常值检测

PySpark数据质量实战

Deequ概述 · 安装与配置 · Constraint Suggest…

DeequDeequ概述

Deequ约束检测

Completeness约束 · Uniqueness约束 · Size约束

Deequ约束检测

Deequ分析与报告

Analysis Runner · Verification Suite · 报告生成与解读

SQL数据质量检测

SQL查询检测空值 · 重复值 · 异常值

SQL数据质量检测

数据质量自动化流水线

Airflow集成Great Exp… · 定时检测任务配置

数据质量自动化流…Airflow

数据质量监控与告警

告警规则配置 · 邮件告警 · Slack告警

数据质量监控告警

数据质量报告可视化

Matplotlib/Seaborn… · Plotly交互式报告

数据质量报告可视…Matplotlib/S…

数据质量元数据管理

数据血缘 · 数据字典 · 质量指标存储

数据质量元数据管…数据血缘

数据质量最佳实践

检测规则设计 · 阈值设定 · 异常处理策略

数据质量最佳实践检测规则设计

综合案例一

电商订单数据质量检测全流程

综合案例一电商订单数据质量…

综合案例二

金融交易数据质量检测与监控系统搭建

综合案例二金融交易数据质量…