VIP20

本课程属于：019-Lakehouse架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Iceberg 表格式深度解析

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Iceberg前世今生：从Hive痛点说起

Iceberg的诞生背景与设计哲学，对比Hive、Hudi、Delta Lake的核心差异。

核心概念速览

表(Table)、快照(Snapshot)、清单(Manifest)、数据文件(Data File)的关系图谱。

表格式规范详解

Iceberg v1 vs v2规范，列式存储与行级删除的核心区别。

快照隔离机制

MVCC实现原理，如何做到读写不互斥？时间旅行(Time Travel)的底层逻辑。

MVCC时间旅行

元数据层解剖

Metadata Layer三层结构（Metadata -> Manifest List -> Manifest），元数据树的演进过程。

元数据三层

清单文件(Manifest)深度解析

存储格式、列统计信息、分区下推原理。

Manifest统计信息

数据文件组织

AVRO、Parquet、ORC格式支持，文件布局与压缩策略。

文件格式压缩

分区变换(Partition Transform)

隐藏分区(Hidden Partition) vs 传统分区，Bucket、Truncate、Year/Month/Day变换。

隐藏分区变换

Schema演进(Schema Evolution)

加列、删列、重命名、类型升级，Iceberg如何做到无痛Schema变更？

Schema无痛变更

分区演进(Partition Evolution)

动态修改分区策略，旧数据无需重写。

分区演进动态

排序与聚类(Sort & Cluster)

Z-Order排序、全局排序、局部排序对查询性能的影响。

文件合并(Compaction)

小文件问题、合并策略、重写数据文件的最佳实践。

小文件合并

行级删除(Row-Level Delete)

v2规范的Delete File机制，Position Delete vs Equality Delete。

增量读取(Incremental Read)

CDC场景下的Streaming读取，从指定快照读取变更数据。

Spark集成实战

Spark SQL读写Iceberg表，Catalog配置，DataFrame API操作。

Flink集成实战

Flink SQL实时写入Iceberg，Checkpoint与Exactly-Once语义。

Trino/Presto查询加速

Trino连接Iceberg，统计信息利用与查询优化。

Hive集成与迁移

Hive表迁移至Iceberg，存量数据无损转换方案。

Hive Metastore、Hadoop、REST、JDBC、Glue、Nessie等Catalog对比与选型。

REST Catalog架构

Iceberg REST API设计，服务端与客户端交互流程。

ACID事务保障

Commit冲突处理、重试机制、乐观锁实现。

数据保留策略

快照过期(Snapshot Expire)、孤儿文件清理(Orphan File Cleanup)。

快照过期清理

表维护与优化

optimize、rewrite、expire等维护命令详解，自动化运维方案。

维护自动化

性能调优实战

文件大小调优、并行度设置、谓词下推、向量化读取。

调优向量化

监控与可观测性

Metrics指标、审计日志、表健康度检查。

监控健康度

多引擎并发写入

Spark与Flink同时写入同一张表，冲突解决机制。

数据湖仓一体架构

Lakehouse架构中Iceberg的定位，与Paimon、XTable的生态融合。

Lakehouse生态

安全与权限控制

Ranger、Atlas集成，列级权限与行级过滤。

生产环境踩坑实录

常见问题（元数据膨胀、快照堆积、OOM）及解决方案。

Iceberg 3.0规划，Object Store原生支持，AI与数据湖的融合趋势。