01
实时数仓概述
传统数仓痛点、实时数仓演进、Lambda与Kappa架构对比、Iceberg在实时数仓中的定位。
架构对比
02
Iceberg核心概念
表格式、元数据分层（Catalog/Metadata/Manifest/DataFile）、快照与版本管理。
元数据快照
03
Iceberg表结构详解
Schema定义、分区与分桶、排序键、隐藏分区。
分区排序
04
环境搭建
Spark + Iceberg + Hive Metastore + MinIO 本地开发环境部署，Catalog配置详解。
部署MinIO
05
Spark SQL操作Iceberg
创建表、写入（Append/Overwrite）、读取（Time Travel/Incremental）、更新删除（Merge Into）。
SparkSQL
06
Flink集成Iceberg
Flink SQL Client配置、流式写入、Exactly-Once语义、Checkpoint与容错。
Flink容错
07
实时数据接入
Kafka + Flink + Iceberg 实时管道、CDC数据（Debezium）入Iceberg、Schema Evolution。
CDCKafka
08
Iceberg表优化
Compaction小文件合并、Expire Snapshots、Rewrite Data Files、Rewrite Manifests。
优化合并
09
查询性能优化
谓词下推（Partition Pruning）、列式存储与向量化、Z-Order排序、物化视图。
性能Z-Order
10
实时数仓分层设计
ODS、DWD、DWS、ADS在Iceberg中的实现与分层策略。
分层架构
11
ODS层构建
Kafka实时消息入ODS、数据质量监控（Schema校验、空值检测）、回溯与重跑机制。
ODS质量
12
DWD层构建
实时ETL（清洗、映射、维度退化）、Flink SQL流式Join、状态管理与TTL。
DWDJoin
13
DWS层构建
实时聚合（Tumbling/Sliding Window）、预计算与物化、大促数据倾斜处理。
DWS窗口
14
ADS层构建
ClickHouse/Iceberg双写、OLAP加速、数据服务接口设计。
ADS双写
15
实时维表管理
维表存储在Iceberg、SCD Type 2、Flink维表Join（Lookup Join/Async IO）。
维表SCD
16
数据一致性保障
ACID事务、乐观锁与冲突解决、Merge-on-Read与Copy-on-Write选择。
ACID一致性
17
实时数仓监控
Iceberg表指标（文件数、快照数）、Flink作业监控（Backpressure、Checkpoint）、Prometheus+Grafana。
监控Grafana
18
数据治理
表标签与元数据管理、数据血缘（Atlas/DataHub）、生命周期TTL策略。
治理血缘
19
多引擎协同
Trino/Presto查询Iceberg、Hive查询、Spark与Flink同时读写冲突处理。
多引擎协同
20
实时数仓案例一（电商）
订单实时大屏、实时GMV统计、实时库存扣减、实时风控。
电商大屏
21
实时数仓案例二（金融）
实时交易流水、反欺诈、用户画像、实时报表。
金融反欺诈
22
实时数仓案例三（物联网）
设备实时上报、时序聚合、异常检测、实时告警。
IoT时序
23
Iceberg与数据湖生态
Iceberg + Delta Lake + Hudi对比、Arrow + Parquet深度优化、Nessie版本管理。
生态对比
24
实时数仓上云
AWS S3+EMR/Glue、阿里云OSS+EMR/Flink、腾讯云COS+云原生方案。
上云S3
25
性能调优实战
Flink写入调优（并行度、Buffer、Batch）、Iceberg写入调优（Target File Size、Distribution）、查询调优。
调优实战
26
故障排查与恢复
Flink作业失败恢复、Iceberg快照回滚、数据损坏修复、元数据不一致处理。
故障恢复
27
实时数仓测试
单元测试（Flink UDF/UDTF）、集成测试（MiniCluster+Iceberg）、数据质量测试（Great Expectations）。
测试质量
28
CI/CD与自动化
Schema变更自动化、Flink作业部署（K8s/YARN）、数据管道监控告警自动化。
CI/CDK8s
29
实时数仓架构演进
从Lambda到Kappa再到流批一体、Iceberg+Flink+Spark未来趋势、Data Mesh与实时数仓。
演进趋势
30
课程总结与展望
最佳实践回顾、常见误区总结、学习路径推荐、社区资源与开源贡献指南。
总结社区