VIP20

本课程属于：018-CDC实时同步 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Delta Lake 实时入湖与CDC集成

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Delta Lake 前世今生

从数据湖到湖仓一体，Delta Lake 的定位与核心优势，理解数据架构演进。

湖仓一体定位

Spark + Delta Lake 本地开发环境配置，Maven/SBT 依赖引入，快速启动。

Delta Lake 基础操作

创建表、写入数据、读取数据、Schema 演化，上手核心 API。

事务日志与版本管理

Delta Log 结构解析，时间旅行（Time Travel）实战，数据版本回溯。

Delta LogTime Travel

数据写入模式

Append、Overwrite、Merge（Upsert）模式详解与场景选择，精确控制。

写入模式Upsert

表维护与优化

OPTIMIZE（小文件合并）、VACUUM（清理旧版本）、ZORDER 排序，性能利器。

Schema 演化与约束

自动 Schema 合并、显式 Schema 变更、NOT NULL 约束，保障数据质量。

实时入湖基础

Structured Streaming 与 Delta Lake 集成，Streaming Sink 配置，流批一体。

流式写入模式

Append 模式与 Complete 模式在实时场景下的区别，选择最佳语义。

流式读取 Delta 表

使用 Streaming Source 读取 Delta 表变更数据，构建实时管道。

Streaming SourceCDC

CDC 概念与架构

什么是 CDC，常见 CDC 工具（Debezium、Kafka Connect）介绍，架构概览。

Debezium 部署

MySQL Binlog 监听，Debezium Server 与 Kafka 集成，实时捕获。

Kafka Connect 与 Sink 配置

将 CDC 事件流写入 Kafka Topic，配置 Sink Connector，持久化。

Kafka ConnectSink

Delta Lake 作为 CDC Sink

使用 Kafka -> Delta Lake 管道，处理 Insert/Update/Delete，Exactly-Once。

Change Data Feed（CDF）

Delta Lake 原生 CDC 功能，启用与读取 CDF，简化增量处理。

使用 CDF 实现增量 ETL，捕获行级变更（插入、更新、删除），精准同步。

增量ETL行级

实时入湖架构设计

Lambda 架构 vs Kappa 架构，Delta Lake 在其中的角色，选型指南。

数据一致性保障

Exactly-Once 语义在 Delta Lake 中的实现机制，端到端可靠性。

Exactly-Once一致性

延迟数据处理

Watermark 与 Drop Duplicates 在流式入湖中的应用，处理乱序。

Watermark去重

多流写入冲突处理

并发写入与隔离级别（Serializable、WriteSerializable），避免冲突。

并发隔离级别

实时入湖监控

Streaming Query 监控指标，Spark UI 与 Delta Lake 历史，可观测性。

并行度设置、文件大小控制、缓存策略，提升吞吐与稳定性。

调优并行度

数据质量检查

在入湖过程中使用 Delta Live Tables（DLT）进行数据校验，质量门禁。

增量表处理

Merge 语句在 CDC 场景下的性能优化（低 Shuffle 合并），高效合并。

Merge低Shuffle

历史数据回溯

结合 CDC 与 Time Travel 实现数据回滚与审计，数据可追溯。

多表关联 CDC

处理多个源表的 CDC 事件，保持数据一致性，复杂场景实战。

多表一致性

云环境集成

Delta Lake 在 AWS S3、Azure Data Lake、GCS 上的最佳实践，云原生。

生产环境部署

Cluster 配置、日志保留策略、自动化运维脚本，生产就绪。

实战案例一：MySQL 实时同步

MySQL 实时同步到 Delta Lake，构建实时数仓 ODS 层，端到端演示。

实战案例二：实时同步与下游应用

基于 CDC 的实时数据同步与下游应用（BI 报表、实时推荐），全链路。