VIP20

本课程属于：031-埋点与事件治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

埋点数据Iceberg 表格式存储优化

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Iceberg 前世今生

为什么需要 Iceberg？从 Hive 表到 Iceberg 的演进之路，理解数据湖表格式的诞生背景。

核心概念扫盲

Snapshot、Manifest、Data File 到底是个啥？一次性理清 Iceberg 最基础的概念。

存储模型深度解析

Iceberg 的层级结构，一张表在文件系统里长什么样？从元数据到数据文件逐层拆解。

层级文件布局

元数据管理

Catalog 是什么？Hive Metastore、Hadoop、REST 三种 Catalog 怎么选？

文件格式选择

Parquet vs ORC vs Avro，我该用哪个？不同场景下的文件格式对比与选型建议。

隐藏分区 vs 传统分区，Iceberg 的分区进化，让分区管理更智能。

隐藏分区进化

分区变换函数

Identity、Hour、Day、Month、Year、Bucket、Truncate 怎么用？灵活控制分区粒度。

排序与聚集

Z-order 排序，让查询快 10 倍的秘密。数据局部性优化原理与实战。

文件大小优化

小文件问题怎么治？Write Distribution Mode 详解，控制文件数量与大小。

小文件分布模式

Snappy、Zstd、LZ4，选对压缩省一半存储。压缩算法特性与适用场景。

数据文件布局

如何控制文件数量？target file size 调优，平衡并行度与存储效率。

文件大小调优

快照过期与清理，别让元数据撑爆你的 NameNode。快照生命周期管理。

快照过期清理

Expire Snapshots、Remove Orphan Files、Rewrite Manifests 三板斧，保持表健康。

Compaction 实战

如何合并小文件？Spark 与 Flink 上的 compaction 策略，提升查询性能。

合并SparkFlink

从快照到增量，流批一体的核心原理。实现实时增量数据消费。

增量流批一体

回到过去，数据回溯与审计。利用快照实现历史数据查询。

时间旅行回溯

Schema Evolution

加列、删列、改列，Iceberg 为什么这么灵活？Schema 演化原理与限制。

表建错了分区怎么办？Iceberg 的分区原地进化，无需重写数据。

用户不用管分区，Iceberg 自动帮你优化。隐藏分区原理与收益。

自动分区透明

Upsert 与 Merge Into，如何高效写入？行级更新与合并写入技巧。

谓词下推与列裁剪，Iceberg 的读取加速。减少 IO 提升查询速度。

谓词下推列裁剪

Manifest 中的统计信息，Min/Max 索引加速过滤。元数据过滤原理。

Min/Max统计信息

布隆过滤器在 Iceberg 中的应用，快速跳过不匹配文件。

用 Iceberg 做物化视图，加速聚合查询。预计算与刷新策略。

物化视图聚合

多表关联优化

Iceberg 在数据湖上的 Join 策略，优化多表关联查询性能。

Spark 读写 Iceberg 的最佳实践，配置与调优经验。

Flink CDC 入湖 Iceberg，实时数仓搭建。流式写入与一致性保证。

Trino/Presto 集成

Ad-hoc 查询场景下的 Iceberg 优化，提升交互式查询体验。

生产环境调优

从几十 TB 到 PB 级 Iceberg 表的运维经验，大规模集群调优实践。

生产调优大规模

Iceberg 与 Lakehouse 架构，下一步怎么走？技术趋势与生态发展。

Lakehouse展望