VIP20

本课程属于：035-Flink状态管理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Delta Lake 状态存储新范式

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Delta Lake 前世今生

从数据湖痛点出发，理解 Delta Lake 诞生的背景与核心价值。

核心概念速览

事务日志、表版本、快照隔离——三个你必须搞懂的名词。

状态存储的旧时代

Hive ACID、HBase 作为状态存储的局限性分析。

Delta Lake 状态存储新范式

将状态视为不可变日志，而非可变数据库。

事务日志深度解析

Delta Log 的物理结构、JSON 格式与原子性保证。

日志原子性

Checkpoint 机制

为什么需要 Checkpoint？如何平衡性能与恢复时间？

时间旅行（Time Travel）

数据版本控制与回滚的底层原理。

Schema 演化与强制

如何在不停机的情况下改变表结构？

并发控制模型

乐观并发控制（OCC）在 Delta Lake 中的实现。

写入流程拆解

从 Append 到 Overwrite，一条数据是如何落盘的。

读取流程拆解

Snapshot 查询与文件剪枝优化。

更新与删除（Merge/Update/Delete）

如何实现真正的 ACID 语义？

生成列与约束

用声明式规则保证数据质量。

Delta Lake 与 Spark 集成

Catalyst 优化器如何利用 Delta 元数据？

Delta Lake 与 Flink 集成

流式写入与 Exactly-Once 语义。

跨平台数据共享的新协议。

分区、Z-Order、Bloom Filter 索引实战。

小文件问题

Optimize 命令与自动压缩策略。

Vacuum 与生命周期管理

清理过期版本的正确姿势。

清理生命周期

Delta Lake 在数据湖仓一体中的角色

从 Lake 到 Lakehouse。

湖仓一体架构

实战案例一：实时数仓 CDC 入湖

Debezium + Delta Lake 构建实时管道。

实战案例二：大规模日志分析平台的状态存储改造

日志平台迁移至 Delta Lake 的实践。

实战案例三：金融级交易流水表的增量处理

高要求场景下的增量处理方案。

监控与运维

Delta Table 元数据查询、历史版本审计。

常见坑与避指南

并发冲突、Schema 不匹配、性能退化。

Delta Lake 2.0 新特性

Liquid Clustering、Deletion Vectors。

与 Iceberg / Hudi 的对比

选型决策树。

云原生部署

在 AWS S3 / Azure Data Lake / GCS 上的最佳实践。

云原生部署

Delta Lake 3.0 与 UniForm 格式统一。

总结与动手实验

用 Docker 搭建 Delta Lake 环境并跑通第一个 Pipeline。