VIP20

本课程属于：048-数据交换与API治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Delta Lake可靠数据交换与一致性保障

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Delta Lake 概述

数据湖的痛点、Delta Lake 的诞生背景、核心特性（ACID、Schema 强制、时间旅行）。

ACID时间旅行

Spark 与 Delta Lake 的版本兼容性、Maven/SBT 依赖配置、本地开发环境初始化。

创建 Delta 表

使用 Spark SQL 创建表、使用 DataFrame API 创建表、管理表的 Location 和 Properties。

读写数据基础

批式写入（Append/Overwrite）、读取 Delta 表为 DataFrame、Schema 自动演化。

批处理Schema

ACID 事务详解

事务日志（_delta_log）的结构、Commit 与 Version 的概念、并发控制（乐观锁）。

事务日志乐观锁

数据版本回溯、使用时间戳或版本号查询、恢复误删数据的实战案例。

版本回溯恢复

Schema 强制（Schema Enforcement）、Schema 演化（Schema Evolution）、合并 Schema。

数据修改操作

Update、Delete、Merge（Upsert）的语法与执行计划、性能调优建议。

分区与 Z-Order

分区表的设计原则、Z-Order 索引的原理与使用、数据跳过（Data Skipping）。

优化与压缩

OPTIMIZE 命令、文件合并策略、Bin-Packing 与 Compaction。

VACUUM 与清理

VACUUM 的工作原理、保留期设置、清理后的数据恢复限制。

Change Data Feed

CDC 的开启与消费、捕获表变更流、与下游系统集成。

生成列与约束

生成列（Generated Columns）的定义、NOT NULL 与 CHECK 约束、数据质量保障。

Delta Sharing 基础

开放协议介绍、Share 的创建与配置、读取共享数据。

Delta Sharing 进阶

安全认证（）、跨平台数据共享（Databricks 与 OSS Spark）。

安全跨平台

流式写入与读取

Structured Streaming 与 Delta Lake 的集成、Exactly-Once 语义保证。

流式Exactly-Once

Delta Live Tables 简介

声明式 ETL 管道、数据质量期望（Expectations）、自动运维。

Delta 表统计信息收集、DESCRIBE DETAIL 命令、历史操作查询（DESCRIBE HISTORY）。

与 Hive 集成

在 Hive Metastore 中注册 Delta 表、Spark SQL 访问 Hive 表。

与 Presto/Trino 集成

Delta Lake 连接器配置、查询性能对比。

与 Flink 集成

Flink Delta Connector、流式写入 Delta 表、端到端一致性。

多集群写入

并发写入冲突处理、隔离级别（Serializable vs WriteSerializable）。

Delta Lake 在数据湖架构中的位置

Lakehouse 架构、与 Iceberg/Hudi 的对比。

Lakehouse对比

表血缘追踪、访问控制（ACL）、审计日志。

备份与恢复

Delta 表的备份策略、利用时间旅行做增量备份、跨区域复制。

大规模场景优化

万亿级表的分区策略、小文件问题根治、查询计划优化。

大规模优化

Delta Lake 2.0 新特性

Deletion Vectors、Liquid Clustering、Checkpoint V2。

实战案例一：实时数仓构建

Kafka -> Delta -> 报表，端到端实时数仓搭建。

实战实时数仓

实战案例二：增量 ETL 与回溯

数据湖的增量 ETL 与回溯处理，应对历史数据修正。

总结与最佳实践

常见陷阱、选型建议、社区生态展望。

总结最佳实践