VIP20

本课程属于：052-数据平台资产运营 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Delta Lake数据资产质量与血缘治理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据治理概述

数据治理的定义、目标与核心原则，为什么现代数据湖需要治理。

Delta Lake 核心概念

ACID事务、Schema强制与演进、时间旅行（Time Travel）、数据版本控制。

环境搭建与基础配置

Spark + Delta Lake 环境安装、配置Catalog、创建第一个Delta表。

数据血缘与溯源

利用Delta Lake的Transaction Log实现数据血缘追踪，构建数据溯源图谱。

Schema强制写入、Schema演进策略、处理Schema冲突的最佳实践。

数据质量监控

基于Delta Lake的Check约束、自定义数据质量规则引擎设计与实现。

数据生命周期管理

Vacuum命令详解、数据保留策略、冷热数据分层存储。

生命周期存储

访问控制与安全

Delta Sharing实现跨组织数据共享、表级别与行级别安全策略。

数据目录与发现

集成Unity Catalog / Hive Metastore，构建企业级数据资产目录。

数据变更数据捕获（CDC）

使用Delta Lake实现流式CDC、Merge Into 的CDC应用。

数据回滚与恢复

利用Time Travel进行数据回滚、误操作恢复实战案例。

恢复Time Travel

增量数据处理

Delta Lake的增量查询、增量ETL流水线设计。

数据压缩与小文件优化

Optimize命令、Z-Ordering、自动压缩策略。

数据版本管理与审计

利用Transaction Log进行审计、版本差异对比。

数据脱敏与隐私保护

基于Delta Lake的动态数据脱敏、静态数据加密。

数据湖仓一体架构

Delta Lake + Spark + Flink 构建湖仓一体，统一批流处理。

架构湖仓一体

数据治理元数据管理

元数据采集、元数据标签、元数据血缘可视化。

元数据可视化

数据资产价值评估

数据资产目录构建、数据资产评分模型、数据资产盘点。

数据治理自动化

利用Delta Lake API实现治理策略自动化部署与执行。

数据治理合规性

GDPR、CCPA等合规要求下的数据删除与匿名化实现。

数据治理监控与告警

基于Delta Lake Metrics的治理指标监控、异常告警。

数据治理与机器学习

Feature Store构建、训练数据版本管理、模型血缘追踪。

MLFeature Store

数据治理成本优化

存储成本分析、查询成本优化、治理操作成本控制。

数据治理团队协作

多团队协作下的数据治理流程、Git-like的数据协作模式。

数据治理成熟度评估

数据治理成熟度模型、评估指标体系、持续改进策略。

成熟度评估

数据治理工具链集成

Delta Lake与Airflow、dbt、Great Expectations等工具集成。

工具链集成

数据治理案例实战：电商

电商场景下的用户行为数据治理全流程。

数据治理案例实战：金融

金融场景下的交易数据治理与合规实现。

数据治理案例实战：物联网

物联网场景下的传感器数据治理与生命周期管理。

数据治理未来趋势

数据网格（Data Mesh）、数据产品化、AI驱动的数据治理。