VIP20

本课程属于：047-湖仓元数据治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Iceberg元数据架构与快照管理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Iceberg 前世今生

从 Hive 痛点看 Iceberg 诞生背景、核心设计哲学、与 Delta Lake / Hudi 的定位差异。

表格式的进化

Iceberg 表格式核心概念（Snapshot、Manifest、Manifest List）、元数据三层架构详解。

架构核心概念

快照隔离与时间旅行

Snapshot 原理、Commit 流程、如何实现 ACID、Time Travel 查询实战。

ACID时间旅行

元数据文件结构

Metadata JSON 文件结构解析、Manifest List 与 Manifest 文件格式、Avro 序列化细节。

文件格式Avro

Iceberg 隐藏分区（Hidden Partitioning）机制、分区变换（Identity/Year/Month/Day/Hour/Bucket/Truncate）、动态分区演化。

列级 Schema 变更（Add/Drop/Rename/Reorder）、类型提升规则、兼容性检查机制。

Schema兼容性

文件布局与数据组织

Data File 与 Delete File 管理、文件统计信息（Column Stats）、Min/Max 索引加速。

文件管理索引

元数据表（Metadata Tables）

snapshots / manifests / files / partitions / history / properties 系统表详解与查询技巧。

系统表查询

Catalog 接口设计、HiveCatalog / HadoopCatalog / RESTCatalog / JDBCCatalog 对比与选型。

REST Catalog 协议

Iceberg REST API 规范、认证、Namespace 管理、Table 元数据读写流程。

Spark 集成实战

Spark 读写 Iceberg 表配置、Catalog 注册、SQL 扩展、Merge Into / Update / Delete 实现。

Flink 集成实战

Flink 动态表与 Iceberg 连接器、CDC 写入、Exactly-Once 语义保证、Checkpoint 与 Commit 协同。

Trino / Presto 查询

Trino 连接 Iceberg 配置、下推优化（Partition Pruning / Predicate Pushdown）、性能调优。

批流一体写入

Batch 与 Streaming 写入模式对比、File Writer 与 Committer 机制、小文件合并策略。

Compaction 机制

小文件问题分析、Rewrite Data Files 与 Rewrite Manifests 原理、自动 Compaction 配置。

合并小文件

元数据垃圾回收

Expire Snapshots 原理、Orphan File 清理、元数据文件保留策略与最佳实践。

表维护与优化

Optimize Table 命令、Z-Order / Sort Order 排序优化、Bin-Packing 文件合并。

分支与标签（Branch & Tag）

Git-like 分支管理、Tag 创建与查询、分支写入与合并、时间旅行与分支结合。

视图（View）

Iceberg View 定义、SQL 视图存储、版本化视图、与表元数据的关系。

多引擎并发写入

乐观锁与 CAS 机制、冲突检测与重试策略、多引擎（Spark + Flink）同时写入同一表。

权限与安全

Catalog 级别鉴权、Table 级别 ACL、列级脱敏与行级过滤（Row Filter）实现思路。

数据质量与约束

Iceberg 约束（Constraint）支持、NOT NULL / CHECK 约束、与外部质量框架集成。

增量读取与流式消费

Incremental Read 原理、从指定 Snapshot 读取变更、CDC 场景下的增量管道。

文件格式选择

Parquet / ORC / Avro 在 Iceberg 中的表现、列式存储优势、压缩算法选型（Zstd / Snappy / LZ4）。

文件格式压缩

对象存储适配

S3 / OSS / GCS 兼容性、文件系统抽象（FileIO）、S3 一致性模型与 Iceberg 的应对。

对象存储FileIO

元数据性能调优

Manifest 缓存、Metadata 读取优化、Commit 延迟优化、并行 Commit 策略。

大规模表管理

分区数过多问题、Manifest 膨胀处理、元数据表分区策略、千级分区表实战经验。

大规模分区

迁移与升级

从 Hive 表迁移到 Iceberg（CTAS / In-Place）、跨 Catalog 迁移、版本升级注意事项。

监控与可观测性

Iceberg Metrics Reporter、Commit 耗时监控、元数据大小监控、Prometheus + Grafana 集成。

生产环境最佳实践

集群配置推荐、表设计规范、运维 Checklist、常见故障排查与恢复。

运维最佳实践