01
初识Iceberg：数据湖的版本管理困境
Iceberg是什么，核心特性概览（ACID、时间旅行、Schema演化），适用场景与数据湖痛点。
ACID时间旅行Schema演化
02
快速上手：环境准备与第一个Iceberg表
Spark/Flink环境配置，创建Iceberg表，写入与读取数据，理解快照概念。
SparkFlink快照
03
核心概念详解：表格式与元数据层
表格式、快照、清单、数据文件、元数据层，深入Iceberg底层结构。
ManifestSnapshot元数据
04
ACID与并发控制：乐观锁与提交冲突
乐观锁机制、序列化隔离级别、提交冲突处理及实际项目并发写入案例。
乐观锁隔离级别并发
05
时间旅行与数据回溯：历史快照查询
查询历史快照、数据回滚、增量读取，审计与数据恢复场景。
时间旅行回滚增量
06
Schema演化：灵活变更表结构
添加/删除/重命名/重排序列、列类型变更、分区演化，对比Hive优势。
列演化分区演化兼容
07
分区与隐藏分区：分区变换与裁剪
Iceberg分区机制、隐藏分区概念、Bucket/Truncate/时间变换，分区裁剪优化。
隐藏分区变换裁剪
08
文件布局与压缩：小文件与Compaction
数据文件组织、小文件问题、Binpack/Sort策略，Spark与Flink实践。
Compaction小文件Binpack
09
表维护与优化：快照过期与文件清理
Expire Snapshots、Remove Orphan Files、Rewrite Manifest、Analyze Table及定期脚本。
维护快照过期清理
10
与Spark集成：SQL与DataFrame API
Spark SQL操作、DataFrame读写、Catalog配置、File Pruning与Vectorized Read调优。
Spark SQLDataFrame调优
11
与Flink集成：CDC写入与流式读取
Flink SQL操作、CDC写入、流式读取、Exactly-Once语义保证。
Flink SQLCDCExactly-Once
12
与Trino/Presto集成：联邦查询
Trino查询Iceberg、跨数据源联邦查询、性能对比。
TrinoPresto联邦
13
与Hive集成：迁移与兼容
Hive查询Iceberg表、迁移Hive表到Iceberg、兼容性说明。
Hive迁移兼容
14
与Dremio集成：数据湖仓可视化
Dremio查询Iceberg、数据湖仓可视化、加速引擎。
Dremio可视化加速
15
与StarRocks/Doris集成：实时分析
实时分析场景、物化视图、查询加速。
StarRocksDoris物化视图
16
增量处理与CDC：管道设计与Upsert
基于Iceberg的CDC管道、Flink CDC写入、Merge Into实现Upsert。
CDCMerge IntoUpsert
17
Merge Into详解：更新/删除/插入
语法语义、基于行的更新删除插入、性能优化、订单更新与库存同步场景。
Merge Into更新性能
18
分支与标签：1.2.0新特性
创建与管理分支、基于分支的测试与发布、标签用于里程碑。
分支标签测试
19
数据质量与校验：完整性检查
数据完整性、Schema校验、Partition校验、自定义质量规则。
质量校验规则
20
安全与权限管理：Catalog与列级脱敏
Catalog/表级别权限、列级脱敏、与Ranger/Atlas集成。
权限脱敏Ranger
21
监控与告警：Metrics与Grafana
Iceberg Metrics、Prometheus集成、Grafana看板、慢查询监控。
监控PrometheusGrafana
22
迁移实战：从Hive/Delta/Hudi迁移
从Hive、Delta Lake、Hudi迁移到Iceberg，迁移工具与脚本。
迁移HiveDelta
23
生产环境部署：Catalog选型与高可用
Hive/Hadoop/REST/JDBC Catalog选型、高可用配置、最佳实践清单。
部署Catalog高可用
24
性能调优：写入/读取与并发优化
Parquet/ORC配置、文件大小控制、谓词下推、列裁剪、并发调优。
写入读取并发
25
常见问题排查：快照与Schema冲突
快照过期导致查询失败、小文件过多、Schema演化冲突、提交超时。
排查快照冲突
26
Iceberg与数据治理：血缘与元数据
数据血缘、数据目录、元数据管理、数据生命周期。
治理血缘元数据
27
Iceberg在云环境：S3/OSS/COS
AWS S3、阿里云OSS、腾讯云COS + Iceberg，云原生最佳实践。
云存储S3OSS
28
Iceberg与AI/ML：特征存储与版本管理
特征存储、训练数据版本管理、模型回滚、数据管道自动化。
AI/ML特征版本
29
社区与生态：Roadmap与相关项目
Apache Iceberg社区现状、Roadmap、Nessie/Amundsen/Marquez。
社区Nessie生态
30
综合实战项目：实时数据湖仓全流程
构建基于Iceberg的实时湖仓，涵盖CDC、时间旅行、Schema演化、Compaction。
实战全流程湖仓