VIP9

本课程属于：016-Spark、Lakehouse与Databricks工程 后端、数据与云原生工程 · 共 9 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Delta Lake 实时湖仓构建

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Delta Lake 前世今生

数据湖的痛点、ACID 事务的引入、Delta Lake 核心特性概览。

起源ACID特性

环境搭建与快速上手

Spark 与 Delta Lake 集成、本地开发环境配置、第一个 Delta 表。

环境Spark入门

Delta Lake 表基础

创建表、写入数据、读取数据、表 Schema 管理。

ACID 事务深入解析

事务日志（Delta Log）、版本控制、并发控制机制。

事务日志并发

时间旅行（Time Travel）

数据版本查询、数据回滚、数据审计实战。

版本回滚审计

Schema 演化与强制

自动 Schema 合并、Schema 验证、生产环境最佳实践。

演化验证最佳实践

数据写入模式详解

Append、Overwrite、Merge（Upsert）、动态分区覆盖。

写入模式Upsert

Merge 操作实战

CDC 数据入湖、SCD Type 2 实现、复杂条件合并。

数据删除与更新

Delete 操作、Update 操作、软删除策略。

删除更新软删除

表优化与维护

OPTIMIZE 命令、Z-Order 索引、VACUUM 清理。

优化Z-OrderVACUUM

文件大小管理、分区策略、数据跳过（Data Skipping）。

性能分区跳过

流式写入与读取

Structured Streaming 集成、流批一体架构、Exactly-Once 语义。

流式流批一体Exactly-Once

Delta Lake 与 Kafka 集成

实时数据管道构建、Offset 管理、端到端延迟优化。

Kafka管道延迟

Delta Sharing 数据共享

开放协议、跨平台共享、权限控制。

共享跨平台权限

Delta Lake 与 Hive 集成

元数据同步、查询兼容性、迁移策略。

Hive元数据迁移

Delta Lake 与 Presto/Trino 集成

联邦查询、性能对比、配置优化。

PrestoTrino联邦

Delta Lake 与 Flink 集成

Flink SQL 写入 Delta、状态后端、一致性保证。

FlinkSQL一致性

Delta Lake 与 Spark SQL 高级用法

SQL 方式管理 Delta 表、DDL 与 DML 操作。

Spark SQLDDLDML

Delta Lake 与 Python（PySpark）

Python API 操作 Delta、Pandas 集成、机器学习场景。

PySparkPandasML

Delta Lake 与 Databricks 平台

Unity Catalog、Auto Loader、Delta Live Tables。

DatabricksUnityDLT

Delta Lake 与 AWS 服务

S3 存储优化、EMR 集成、Glue 元数据目录。

Delta Lake 与 Azure 服务

ADLS Gen2 集成、Azure Databricks、Synapse Analytics。

AzureADLSSynapse

Delta Lake 与 GCP 服务

Cloud Storage 集成、Dataproc、BigQuery 联邦查询。

GCPDataprocBigQuery

Delta Lake 安全与权限

表级权限、行级过滤、列级掩码、审计日志。

安全权限审计

Delta Lake 监控与告警

Spark 监控指标、Delta 表统计信息、自定义告警规则。

监控告警指标

Delta Lake 数据质量

Checkpoint 机制、数据验证、异常处理、质量监控。

质量验证Checkpoint

Delta Lake 多集群架构

跨集群复制、Delta Sharing 分发、灾难恢复。

多集群复制容灾

Delta Lake 迁移实战

从 Hive 迁移、从 Parquet 迁移、从 Iceberg 迁移、回滚方案。

迁移HiveIceberg

Delta Lake 高级特性

Change Data Feed、Generated Columns、Deletion Vectors。

CDF生成列删除向量

综合实战：实时湖仓全链路构建

数据采集 -> 实时入湖 -> 批流一体处理 -> 数据服务 -> 监控运维。

实战全链路批流一体