4. 性能优化：文件布局、分区策略、数据跳过（Data Skipping）对比

性能优化这个话题，说白了就是让查询引擎少读数据。你想想看，一个PB级的表，如果每次查询都要全表扫描，那再好的硬件也扛不住。Iceberg和Delta Lake在这方面思路相似，但实现细节差异很大。我这些年帮团队做选型时，性能这块往往是决定性的考量因素。

4.1 文件布局：小文件治理与存储结构

先说文件布局。两个引擎都基于Parquet列式存储，但文件组织方式不同。

Delta Lake 的文件布局相对简单。每个分区目录下直接放Parquet文件，事务日志（_delta_log）单独维护。我遇到过最头疼的问题——小文件爆炸。有一次流式写入任务没调优，一天产生了十几万个小文件，查询性能直接崩了。

Iceberg 的文件布局更灵活。它通过元数据层（Metadata Layer）管理文件，支持隐藏分区（Hidden Partitioning）和文件剪枝。Iceberg的元数据文件记录了每个文件的统计信息，比如min/max值、null值数量等。

-- Iceberg 文件布局示例（元数据层）
metadata/
  v1.metadata.json
  snap-12345.avro
  manifest/
    m1.avro
    m2.avro
data/
  partition_col=value/
    file1.parquet
    file2.parquet

4.2 分区策略：从粗放到精细

分区策略直接影响查询性能。选错了分区键，查询可能比全表扫描还慢。

Delta Lake 的分区策略比较传统。你指定一个列作为分区键，数据就按目录组织。比如按日期分区：date=2024-01-01/。但有个坑——如果分区键选择不当，比如用user_id这种高基数列，会产生大量小目录，文件系统压力很大。

Iceberg 的隐藏分区是个亮点。它允许你在不改变表结构的情况下，定义转换分区。比如按event_time列做day转换分区，Iceberg会自动计算分区值，用户不需要手动指定。

-- Iceberg 隐藏分区示例
CREATE TABLE events (
  event_time TIMESTAMP,
  user_id STRING,
  event_type STRING
)
USING iceberg
PARTITIONED BY (
  day(event_time),  -- 隐藏分区，自动按天划分
  bucket(16, user_id)  -- 哈希分区，控制文件大小
);

4.3 数据跳过（Data Skipping）：谁更聪明？

数据跳过是性能优化的核心。说白了，就是让查询引擎只读需要的数据文件。

Delta Lake 的数据跳过基于文件级别的统计信息。每个Parquet文件在事务日志中记录了min/max值、null值数量等。查询时，引擎根据这些统计信息过滤文件。

• 优点：实现简单，对已有查询透明。
• 缺点：统计信息只在文件级别，粒度较粗。如果文件很大，跳过效果有限。
• 限制：只支持等值过滤和范围过滤，不支持复杂表达式。

Iceberg 的数据跳过更精细。它通过manifest文件记录每个数据文件的列统计信息，而且支持多种索引类型。

• Min/Max索引：记录每列的最小值和最大值。
• Bloom Filter：支持高基数列的快速过滤。
• NDV（近似基数）：帮助优化器做更准确的估算。

-- Iceberg 数据跳过示例（查询时自动生效）
SELECT * FROM events
WHERE event_time >= '2024-01-01'
  AND event_time < '2024-01-02'
  AND user_id = 'abc123';

-- Iceberg 会：
-- 1. 读manifest，找到包含2024-01-01数据的文件
-- 2. 用Bloom Filter快速判断user_id是否存在
-- 3. 只读取匹配的文件

4.4 核心逻辑对比图

下面这张图展示了两个引擎在性能优化上的核心差异。我画这张图时，特意把数据跳过的流程拆解清楚了。

4.5 选型建议

说了这么多，到底怎么选？我个人的经验是：

• 如果查询模式简单（主要是等值过滤和范围过滤），数据量在10TB以内，Delta Lake完全够用。它的数据跳过虽然粗一些，但胜在部署简单。
• 如果查询模式复杂（多条件组合、高基数列过滤），或者数据量超过50TB，Iceberg的数据跳过优势就体现出来了。Bloom Filter在高基数列上的过滤效果，Delta Lake目前还做不到。
• 如果分区策略需要频繁调整，Iceberg的分区演进功能是杀手锏。Delta Lake不支持修改分区策略，一旦定下来就很难改。