VIP20

本课程属于：002-数据湖仓平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Delta Lake表格式开发与数据版本管理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Delta Lake 初探

Lakehouse 架构定义、Delta Lake 诞生背景，核心优势：ACID 事务、Schema Enforcement、Time Travel。

架构核心概念

Spark 与 Delta Lake 版本兼容性，Maven/SBT 依赖配置，本地 PySpark + Delta 开发环境搭建。

创建第一个 Delta 表

使用 Spark SQL 与 DataFrame API 创建表，指定分区键与存储路径，快速上手。

数据写入基础

Append、Overwrite、Ignore、ErrorIfExists 四种写入模式详解与适用场景。

数据读取与查询

读取 Delta 表、列选择与过滤、聚合查询，SQL 与 DataFrame 双 API 实践。

数据更新与删除

UPDATE、DELETE 语句，MERGE INTO（UPSERT）实现高效变更。

自动合并 Schema、手动添加列、类型变更与兼容性检查，灵活应对业务变化。

写入时 Schema 校验，严格模式与宽松模式配置，常见报错及处理策略。

Time Travel 基础

版本号查询、时间戳查询，RESTORE 命令恢复历史版本，数据回溯利器。

时间旅行恢复

Time Travel 实战

数据回滚场景、审计追踪、对比两个版本的数据差异，真实案例演练。

Delta 日志（Delta Log）

_delta_log 目录结构，JSON 与 Parquet 文件，事务条目解析，理解底层机制。

Checkpoint 机制

Checkpoint 作用、生成频率、手动触发 Checkpoint，保障日志高效管理。

检查点性能

清理过期文件，保留期限设置，执行计划与执行，释放存储空间。

优化基础（Optimize）

小文件合并、ZORDER 排序、文件大小目标设置，提升查询性能。

数据布局优化

ZORDER 原理、选择合适的排序列，性能对比测试，加速数据跳过。

表统计信息与文件跳过

收集统计信息，Data Skipping 原理，加速查询的实践技巧。

分区表设计原则、分区列选择、动态分区修剪，减少扫描数据量。

流式写入（Structured Streaming）

Delta 作为流式 Sink，Exactly-Once 语义，Trigger 配置，实时入湖。

从 Delta 表读取流，处理 CDC 数据，流批一体架构设计。

Delta Sharing 基础

Delta Sharing 概念、共享协议，搭建简单的 Sharing Server。

Delta Sharing 实战

共享表给其他用户，使用不同引擎读取共享数据，跨团队协作。

Delta 与 Hive 集成

在 Hive Metastore 注册 Delta 表，Spark SQL 与 Hive 互操作。

Delta 与 Presto/Trino 集成

配置 Presto 连接 Delta Lake，查询性能对比，跨引擎分析。

Delta 与 Flink 集成

Flink 写入/读取 Delta 表，端到端一致性，实时计算场景。

Delta 表克隆（Clone）

Deep Clone 与 Shallow Clone，克隆用途：测试、备份、环境隔离。

Delta 表转换

从 Parquet/ORC 转换为 Delta，注意事项，原地转换策略。

Delta 表约束

NOT NULL 约束、CHECK 约束，约束添加与验证，保证数据质量。

Delta 生成列

生成列定义，基于生成列的分区，自动计算与存储，简化 ETL。

生成列分区

Delta 表性能调优

Spark 配置调优、并行度设置、缓存策略、常见瓶颈分析。

Delta Lake 生产实践

监控与告警、备份与恢复策略、版本升级路径、常见故障排查。