VIP20

本课程属于：051-数据平台FinOps 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Iceberg存储账单分析与成本控制

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

账单迷雾：为什么你的Iceberg账单看不懂？

揭开存储与计算分离下的成本黑盒，从请求计费到隐性开销，透视账单盲区。

成本黑盒计费模型

元数据即成本：Manifest与Snapshot

Manifest文件与Snapshot如何吃掉你的存储费？元数据膨胀的真实代价。

元数据快照

隐藏的定时炸弹：过期Snapshot与Orphan文件

清理不及时的成本陷阱，孤立文件如何持续产生存储费用。

清理策略存储浪费

压缩的代价：小文件合并的权衡

Compaction的CPU与存储成本博弈，合并频率与文件大小的最优解。

压缩CPU开销

查询的隐形账单：全表扫描为什么贵？

分区裁剪与文件剪枝的成本影响，避免不必要的扫描开销。

查询优化分区裁剪

存储格式的博弈：Parquet vs ORC vs Avro

哪种格式在Iceberg上最省钱？压缩比与查询性能的综合评估。

列式存储格式选型

压缩算法选型：Snappy、Zstd、Gzip

根据查询模式选择最经济的压缩策略，降低存储与网络成本。

压缩算法性价比

列式存储的威力：列裁剪与谓词下推

如何直接转化为账单上的数字？减少I/O就是减少费用。

谓词下推列裁剪

分区策略的艺术：错误分区键的灾难

错误的分区键导致存储膨胀与查询性能灾难，如何设计分区。

分区键数据倾斜

分区演化：历史数据如何避免成本失控

修改分区策略后，历史数据重写与迁移的成本控制方法。

分区演化数据迁移

排序与聚簇：Z-order与Hilbert曲线

通过数据布局降低扫描成本，空间填充曲线的实际收益。

物化视图的算盘：用存储换计算

物化视图在Iceberg中的成本模型分析，预计算与存储的平衡。

物化视图预计算

增量查询的陷阱：CDC场景成本分析

为什么读取增量数据比快照查询更贵？变更数据捕获的成本。

CDC增量查询

并发写入的代价：文件碎片化成本

多个Spark/Flink任务同时写一张表时的文件碎片化与存储开销。

并发写入碎片

云对象存储的计费模型

AWS S3、阿里云OSS、Azure Blob的GET/PUT/LIST请求费用如何影响账单。

S3OSS请求费用

数据湖缓存层：Alluxio与本地缓存

缓存能否成为省钱利器？降低远程读取请求，减少出口费用。

生命周期管理：热数据到冷数据

Iceberg表如何自动迁移到低成本存储层？策略与实现。

生命周期冷热分层

删除操作的真相：Delete Files

行级删除如何悄悄增加存储成本？标记删除与合并开销。

行级删除标记删除

合并操作的成本分析：Rewrite

Rewrite Data Files与Rewrite Manifests的执行代价与收益量化。

跨区域复制的账单

跨Region数据同步时，网络与存储成本如何计算？避免隐性支出。

跨区域网络成本

版本回滚的代价：历史快照成本

保留大量历史快照对存储成本的具体影响，快照保留策略。

版本回滚快照

表结构变更的成本

添加/删除列、修改列类型时，底层文件是否需要重写？

Schema演进重写

分区粒度选择：按天/小时/事件

不同粒度下的文件数与元数据开销，找到性价比平衡点。

分区粒度文件数

文件大小调优：target file size

目标文件大小设置不当导致的成本问题，参数调优实践。

文件大小调优

数据写入模式：Append/Overwrite/Upsert

三种模式下的成本差异深度对比，写入放大与存储效率。

写入模式Upsert

计算引擎的成本差异

Spark、Flink、Trino查询同一张Iceberg表，谁的账单更友好？

SparkTrinoFlink

资源预留与弹性伸缩

Kubernetes上运行Iceberg工作负载，如何避免资源浪费？

K8s弹性伸缩

成本监控与告警：Metadata Tables

利用Iceberg的Metadata Tables构建实时成本监控看板。

成本优化实战案例

某互联网公司如何通过Iceberg优化将存储成本降低40%？

未来趋势：Object Store & Serverless

Iceberg的Object Store File Format与Serverless Computing将如何重塑成本结构？

未来Serverless