01
Lakehouse概述
数据仓库与数据湖的演进，Lakehouse架构定义，Delta Lake与Apache Iceberg对比。
架构对比
02
实时数仓技术选型
Kafka、Flink、Spark Streaming、Paimon核心组件介绍与选型策略。
组件选型
03
环境搭建
Docker Compose部署Hadoop、Spark、Flink、Kafka集群，快速搭建实验环境。
Docker集群
04
Delta Lake基础
ACID事务、Schema演进、时间旅行（Time Travel）原理与核心机制。
事务时间旅行
05
Delta Lake实战
使用Delta Lake进行批流一体数据写入与读取，实现实时增量处理。
批流一体实战
06
Apache Iceberg基础
Iceberg表格式、分区演进、隐藏分区与排序，理解表结构设计。
表格式分区
07
Apache Iceberg实战
基于Iceberg构建实时摄入管道，流式写入与增量查询。
实时摄入管道
08
Apache Paimon入门
Paimon架构、Changelog机制、Merge Engine，了解核心设计。
ChangelogMerge
09
Apache Paimon实战
实时CDC数据入湖与查询，实现变更数据捕获与低延迟分析。
CDC入湖
10
Kafka Connect与Debezium
MySQL CDC实时同步到Lakehouse，配置与监控连接器。
Debezium同步
11
Flink SQL实时入湖
Flink CDC连接器、动态表、连续查询，SQL化实时数据接入。
Flink SQLCDC
12
Flink与Iceberg集成
Flink写入Iceberg表、流读Iceberg，实现实时湖仓一体。
集成流读
13
Flink与Paimon集成
Flink写入Paimon表、Lookup Join，维表关联与实时更新。
Lookup Join集成
14
Spark Structured Streaming实时入湖
Stream-Stream Join、Watermark，基于Spark的流式写入Lakehouse。
Structured StreamingWatermark
15
实时数仓分层设计
ODS、DWD、DWS、ADS在Lakehouse中的实践，分层建模与数据组织。
分层建模
16
实时ETL
数据清洗、去重、类型转换、字段映射，构建高质量实时数据流。
ETL清洗
17
实时维度建模
缓慢变化维（SCD Type 2）在Lakehouse中的实现，历史与当前维度。
SCD维度建模
18
实时指标计算
使用Flink进行窗口聚合、TopN、去重计数，实时指标与看板。
窗口聚合TopN
19
实时数据服务
基于Presto/Trino查询Lakehouse实时数据，极速分析接口。
PrestoTrino
20
实时数据质量
数据校验、异常检测、告警机制，保障实时数仓可靠性。
质量告警
21
实时数据治理
元数据管理、血缘追踪、数据生命周期，治理体系落地。
治理血缘
22
实时数仓性能优化
文件合并（Compaction）、小文件治理、Z-Order排序，提升查询性能。
CompactionZ-Order
23
实时数仓监控
Prometheus + Grafana监控Flink、Spark、Kafka，可视化运维。
监控Grafana
24
实时数仓容灾
Exactly-Once语义、Checkpoint、Savepoint恢复，故障转移策略。
容灾Checkpoint
25
实时数仓安全
数据加密、访问控制、审计日志，全方位安全防护。
安全加密
26
电商实时大屏
GMV、UV、PV实时统计，构建高并发实时看板。
电商大屏
27
金融实时风控
交易异常检测、实时规则引擎，毫秒级风控响应。
金融风控
28
物联网实时分析
设备状态监控、时序异常检测，海量IoT数据实时处理。
IoT时序
29
实时数仓与AI结合
实时特征工程、在线学习、模型推理，AI赋能实时决策。
AI特征工程
30
实时数仓未来趋势
Serverless Lakehouse、Data Mesh、AI原生数仓，前沿展望。
趋势Serverless