Iceberg 基础概念：表格式、元数据层、数据文件、清单文件与快照

1. 表格式（Table Format）的本质定位

在数据湖架构中，Iceberg 首先是一种表格式（Table Format），它介于计算引擎（Spark、Flink、Trino）与底层存储（HDFS、S3、OSS）之间。表格式的核心职责是：定义一张“表”在分布式存储上如何组织文件、如何记录数据变更、如何提供 ACID 事务能力。与 Hive 表格式仅维护分区目录和元数据指针不同，Iceberg 将表的状态抽象为多层元数据，使得引擎可以像操作传统数据库表一样操作数据湖文件。

Iceberg 表格式的关键设计目标包括：

• 快照隔离：每次写入或删除都生成新快照，读请求基于快照时间戳获取一致视图。
• Schema 演进：支持列添加、删除、重命名、顺序调整，且不影响历史数据文件。
• 隐藏分区：分区规则由表元数据管理，用户无需手动维护分区列。
• 多引擎兼容：同一张 Iceberg 表可被 Spark、Flink、Trino 并发读写，通过乐观锁保证元数据一致性。

2. Iceberg 元数据三层结构

Iceberg 的元数据采用三层递进结构，从抽象到具体依次为：Catalog 元数据 → 快照（Snapshot）→ 清单列表（Manifest List）→ 清单文件（Manifest File）→ 数据文件（Data File）。其中 Catalog 层仅记录当前表指针指向哪个快照，真正的表结构信息存储在 v1.metadata.json 等元数据文件中。

元数据文件（*.metadata.json）是表的“大脑”，它记录了表结构、分区规范、快照历史以及当前快照 ID。每次提交操作（如写入、删除、改 Schema）都会生成新的元数据文件，并通过原子替换（如 HDFS rename 或 S3 条件写）更新 Catalog 指针，从而保证并发安全。

3. 数据文件、清单文件与快照的协作机制

为了更直观地理解三者关系，我们通过一个实际写入场景来拆解。假设使用 Spark 向 Iceberg 表插入一批新数据：

1. 写入数据文件：Spark 将数据按分区规则写入新的 Parquet 文件，例如 dt=2025-01-16/00001.parquet。
2. 生成清单文件：Iceberg 为这批新文件生成一个 Manifest 文件，记录每个数据文件的路径、分区值、列统计信息（min/max、null 计数）、文件格式等。
3. 更新清单列表：将新 Manifest 追加到 Manifest List 中，同时保留旧 Manifest 引用（用于时间旅行查询）。
4. 创建新快照：生成新的 Snapshot，指向更新后的 Manifest List，并更新元数据文件中的当前快照 ID。

-- 查看表快照信息（Spark SQL）
SELECT snapshot_id, timestamp_ms, operation 
FROM my_table.snapshots;

-- 输出示例
snapshot_id          | timestamp_ms          | operation
---------------------|-----------------------|----------
847291847            | 2025-01-15 10:30:00   | append
847291848            | 2025-01-16 14:20:00   | overwrite
847291849            | 2025-01-16 15:45:00   | append

快照是 Iceberg 实现 时间旅行（Time Travel） 的基础。每个快照都对应一个完整的表状态，查询时只需指定快照 ID 或时间戳，即可读取该时刻的数据视图，而不受后续写入影响。

4. 典型场景：分区表查询优化

假设一张电商订单表按 order_date 分区，存储了 2025 年 1 月的全部数据。当执行以下查询时：

SELECT * FROM orders 
WHERE order_date = '2025-01-15' 
  AND status = 'PAID';

Iceberg 的优化流程如下：

• 从 Catalog 获取当前快照 ID（如 847291849）。
• 读取该快照对应的 Manifest List，发现其中包含 3 个 Manifest 条目。
• 根据分区字段 order_date 的过滤条件，仅读取分区 dt=2025-01-15 对应的 Manifest，跳过其他两个 Manifest。
• 在命中的 Manifest 内部，利用列统计信息（如 status 列的 min/max）进一步过滤掉不包含 PAID 状态的数据文件。
• 最终只扫描 2 个候选 Parquet 文件，而非全表 35 个文件。

5. 常见误区与复盘