01
实时入湖概述
为什么需要实时入湖？Delta Lake 的核心优势与适用场景。
动机场景
02
Delta Lake 架构解析
事务日志、版本控制、Schema 强制与演化机制。
事务日志Schema
03
环境搭建
Spark + Delta Lake 集成环境配置（本地与云环境）。
Spark配置
04
Structured Streaming 基础
流式数据源、输出模式与触发器。
流式触发器
05
Delta Lake 作为流式 Sink
使用 Delta Lake 接收实时数据流。
Sink实时
06
Exactly-Once 语义
Delta Lake 如何保证端到端的数据一致性。
一致性语义
07
Schema 演化与实时入湖
动态调整表结构以适配多变的数据源。
演化适配
08
实时数据 Upsert
使用 Merge 操作实现流式数据的更新与插入。
MergeUpsert
09
CDC 入湖实战
基于 Debezium + Kafka + Delta Lake 的实时同步方案。
CDCDebezium
10
Kafka 与 Delta Lake 集成
从 Kafka Topic 直接写入 Delta 表。
Kafka集成
11
Auto Loader 与 Cloud Storage
云上文件自动发现与增量入湖。
Auto Loader云存储
12
实时入湖性能调优
分区策略、文件大小控制与优化写入。
性能分区
13
流式去重
在实时入湖过程中处理重复数据。
去重流式
14
Watermark 与延迟数据处理
管理乱序数据与时间窗口。
Watermark乱序
15
Delta Live Tables (DLT)
声明式实时数据管道构建。
DLT管道
16
实时入湖监控
Streaming Query 指标与 Delta 表健康检查。
监控健康
17
数据质量约束
在实时流中应用 Delta 表约束与校验。
质量约束
18
增量查询与历史回溯
Time Travel 在实时场景中的应用。
Time Travel回溯
19
多表关联与实时物化视图
基于流式数据的复杂 ETL。
物化视图关联
20
实时入湖与数据湖仓一体
Delta Lake 在 Lakehouse 架构中的角色。
Lakehouse架构
21
小文件问题治理
实时入湖场景下的 Compaction 策略。
小文件Compaction
22
权限与安全
实时入湖场景下的表级与行级安全控制。
权限安全
23
跨集群实时同步
Delta Sharing 与实时数据分发。
Delta Sharing同步
24
实时入湖成本优化
存储格式、压缩算法与生命周期管理。
成本压缩
25
异常处理与容错
Checkpoint 机制与故障恢复。
容错Checkpoint
26
实时入湖与批处理融合
Delta Lake 的批流一体实践。
批流一体融合
27
大规模实时入湖架构
百万级 QPS 场景下的设计要点。
大规模QPS
28
实时入湖案例：金融交易日志
金融交易日志实时入湖与分析。
金融案例
29
实时入湖案例：IoT 设备数据
IoT 设备数据实时采集与入湖。
IoT采集
30
总结与最佳实践
实时入湖方案选型与常见陷阱规避。
总结最佳实践