VIP20

本课程属于：006-数据质量工程 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Great Expectations数据质量自动化校验系统

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Great Expectations 初探

什么是数据校验？为什么需要自动化？GE 的核心价值与生态定位。

环境搭建与快速启动

使用 pip 安装 GE，初始化项目，创建第一个 Data Context。

理解核心概念

Expectation、Suite、Checkpoint、Data Context、Store 的关系与作用。

连接数据源

配置 Pandas、Spark、SQL 数据库等数据源，创建 Data Connector。

数据源配置

创建第一个 Expectation

使用内置 Expectation（如列值非空、唯一性、范围校验）进行基础校验。

Expectation Suite 管理

创建、编辑、存储、加载 Suite，理解 Batch Request 的作用。

深入 Expectation 参数

配置 mostly、result_format、condition 等高级参数。

自定义 Expectation

编写自定义 Expectation 类，注册并使用自定义校验逻辑。

自定义扩展

Checkpoint 与自动化

配置 Checkpoint，实现定时或事件驱动的自动化校验。

自动化调度

Data Docs 数据文档

自动生成可视化校验报告，理解 HTML 文档的结构与配置。

报告可视化

数据质量仪表盘

使用 Data Docs 构建团队共享的数据质量看板。

Action 与通知机制

配置 Slack、Email、Webhook 等 Action，实现异常告警。

Store 深入解析

配置 Expectations Store、Validations Store、Data Docs Store 的存储后端（本地、S3、GCS）。

数据源高级配置

处理分区表、增量数据、动态数据源连接。

Batch 与 Batch Request

理解 Batch 的概念，配置 Batch Request 的多种方式。

Profiler 与自动生成 Suite

使用 UserConfigurableProfiler 自动生成 Expectation Suite。

Rule-Based Profiler

基于规则的 Profiler，实现更精细的自动校验生成。

Onboarding Data Assistant

使用内置 Data Assistant 快速创建初始 Suite。

数据管道集成

在 Airflow、Prefect、Dagster 中集成 GE 校验步骤。

在 dbt 模型后自动运行 GE 校验，实现数据质量闭环。

与 Spark 集成

在 PySpark 作业中使用 GE 进行大规模数据校验。

与 SQL 数据库集成

在 ETL 过程中对数据库表进行校验。

版本控制与 CI/CD

将 Expectation Suite 纳入 Git 管理，在 CI 中自动运行校验。

批量校验、并行执行、减少数据加载开销。

大规模数据校验策略

采样校验、分区校验、增量校验。

策略大规模

异常处理与重试机制

处理校验失败、数据源不可用等异常场景。

多环境管理

开发、测试、生产环境的 Data Context 配置与切换。

安全与权限

管理数据源凭证、Store 访问控制、。

实战案例一：电商订单数据质量监控系统

电商订单数据质量监控系统。

实战案例二：金融风控数据管道自动化校验与告警

金融风控数据管道自动化校验与告警。