VIP20

本课程属于：006-数据质量工程 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Great Expectations 进阶与自定义插件

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

GE 生态全景

从 Expectation 到 Suite 再到 Checkpoint 的完整数据质量链路，俯瞰核心组件协作方式。

深入理解 Expectation 类型

Column Map Expectations、Column Aggregate Expectations、Table Expectations 等分类与适用场景。

自定义 Expectation 开发环境搭建

项目结构、模板代码、测试框架，从零搭建可扩展的开发环境。

开发第一个自定义 Expectation

实现一个校验列中所有值均为正数的 Expectation，掌握核心开发流程。

Expectation 的装饰器与基类

@expectation 装饰器、ExpectationConfiguration 与 ExpectationValidationResult 的深度解析。

装饰器基类

处理 Expectation 参数

配置参数、默认值、类型校验与文档字符串，让 Expectation 更健壮易用。

自定义 Expectation 的 Metrics

如何定义和注册自定义 Metrics，为 Expectation 提供灵活的计算能力。

深入 Metrics 计算

使用 Pandas、Spark 或 SQLAlchemy 后端执行 Metrics 计算，适配不同引擎。

自定义 Expectation 的渲染

自定义 HTML 与 Markdown 渲染器，让验证结果更直观、更专业。

渲染可视化

Expectation Suite 的进阶管理

动态生成 Suite、批量更新与版本控制，提升大规模场景下的管理效率。

Checkpoint 深度解析

Action List、Validation Operators 与自定义 Action，掌握 Checkpoint 扩展机制。

CheckpointAction

自定义 Checkpoint Action

实现一个将验证结果发送到企业微信/钉钉的 Action，打通告警通道。

Data Context 的配置与扩展

如何通过 YAML 配置自定义插件，灵活扩展项目上下文。

Store 与 Store Backend

理解 Expectation Store、Validation Store 与 Data Doc Store 的职责与关系。

自定义 Store Backend

将验证结果存储到 MongoDB 或 Elasticsearch，实现持久化与检索。

Data Docs 的深度定制

自定义模板、CSS 样式与导航结构，打造品牌化数据文档。

Profiler 与 Rule-Based Profiler

自动生成 Expectation Suite 的进阶用法，基于规则快速构建质量基线。

Profiler自动化

自定义 Profiler

根据业务规则编写自定义 Profiler 生成 Suite，贴合实际数据场景。

自定义业务

Batch 与 Batch Request 的进阶

动态 Batch 筛选、Partition 与 Sampling，精细控制数据批次。

Data Connector 的扩展

自定义 Data Connector 连接非标准数据源，打破数据接入限制。

连接器扩展

Execution Engine 的定制

为特定计算框架编写自定义 Execution Engine，适配异构环境。

插件打包与分发

使用 setuptools 打包自定义插件并发布到 PyPI，实现共享与复用。

插件配置与加载机制

理解 Great Expectations 的插件发现与加载流程，掌握扩展原理。

测试自定义插件

使用 pytest 编写单元测试与集成测试，保障插件质量。

Expectation 的并行执行、缓存策略与 Metrics 复用，提升执行效率。

大规模数据场景

在 Spark 集群上优化自定义 Expectation 的执行，应对海量数据。

与其他工具集成

将 Great Expectations 集成到 Airflow、Prefect 或 Dagster 中，构建编排管道。

监控与告警

基于验证结果构建实时监控与告警系统，主动发现数据质量问题。

实战案例一：金融风控数据质量平台

构建一个完整的金融风控数据质量平台，涵盖核心流程与自定义插件。

实战案例二：数据湖数据质量保障

在 Delta Lake / Iceberg 上实施数据质量保障，适配湖仓一体架构。