VIP20

本课程属于：020-实时指标平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Delta Lake 流批一体实践

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Delta Lake 前世今生

数据湖的痛点、ACID 事务的引入、Delta Lake 核心特性概览。

环境搭建与入门

Spark 与 Delta Lake 版本兼容性、本地开发环境配置、第一个 Delta 表读写。

Delta Lake 核心概念

事务日志（Delta Log）、版本控制与时间旅行、Schema 演化与强制。

事务日志Schema

批处理读写实践

使用 DataFrame 进行批量写入、覆盖与追加模式、分区表操作。

批处理DataFrame

流式处理入门

Structured Streaming 基础、从 Delta 表读取流、写入 Delta 表作为流 Sink。

流式Structured Streaming

流批一体架构设计

Lambda 架构 vs Kappa 架构、Delta Lake 的流批一体优势、典型架构图。

架构LambdaKappa

Change Data Feed (CDF)

CDF 原理与开启、捕获表变更、下游消费变更数据。

CDF变更捕获

Merge (Upsert) 操作

Merge 语法详解、SCD Type 2 实现、性能调优技巧。

删除与优化

VACUUM 清理旧版本文件、OPTIMIZE 合并小文件、ZORDER 排序优化。

VACUUMOPTIMIZEZORDER

时间旅行实战

按版本号查询、按时间戳查询、数据回滚与恢复。

时间旅行回滚

自动 Schema 演化、手动 Schema 变更、处理嵌套结构。

写冲突与解决策略、Serializable 与 Snapshot Isolation 隔离级别。

并发隔离级别

生成列与约束

生成列定义、CHECK 约束、NOT NULL 约束。

约束生成列

数据共享原理、配置 Delta Sharing Server、客户端读取共享数据。

共享Delta Sharing

与 Hive 集成

在 Hive Metastore 中注册 Delta 表、Spark SQL 查询、兼容性注意事项。

与 Flink 集成

Flink Delta Connector 配置、流式写入 Delta、Exactly-Once 语义保证。

FlinkExactly-Once

与 Presto/Trino 集成

Presto 读取 Delta 表、性能对比、常见问题。

Delta Lake on AWS S3

S3 一致性模型、配置优化、最佳实践。

Delta Lake on Azure Data Lake Storage

ADLS Gen2 配置、权限管理、性能调优。

Delta Lake on GCP Cloud Storage

GCS 配置、与 Dataproc 集成、注意事项。

监控与运维

Delta Lake 历史记录查看、表大小与文件数监控、日志分析。

文件大小控制、分区策略、Bloom Filter 索引、动态分区修剪。

性能Bloom Filter

数据质量保障

数据校验框架、异常数据处理、自动化测试。

自动化部署 Delta 表、Schema 变更管理、版本控制策略。

实时数仓案例

用户行为实时分析、订单实时统计、数据一致性保障。

实时数仓案例

CDC 入湖案例

从 MySQL Binlog 捕获变更、实时入 Delta Lake、下游消费。

机器学习特征存储

使用 Delta Lake 存储特征、特征工程流水线、在线推理。

Delta Lake 2.0 新特性

Liquid Clustering、Deletion Vectors、Checkpoint V2。

常见问题与排错

文件丢失、元数据损坏、性能瓶颈诊断、社区资源。

总结与展望

Delta Lake 生态全景、与 Iceberg/Hudi 对比、未来发展趋势。