VIP20

本课程属于：051-数据平台FinOps 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Iceberg表格式存储资源与成本优化

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

成本优化总览

Iceberg 成本构成分析 · 优化目标与策略全景图，从存储与计算双视角定位成本杠杆。

元数据管理

元数据膨胀原理、垃圾回收机制与元数据表优化，避免元数据成为隐性成本黑洞。

元数据清理

小文件合并

小文件产生原因、合并策略及工具参数调优，显著降低文件数与元数据压力。

文件布局合并

分区策略优化

分区字段选择、粒度控制、隐藏分区与分区裁剪，让分区真正为查询加速。

排序与聚集

Z-order 排序原理、排序对查询性能的影响及聚集存储优化，提升数据局部性。

压缩算法选择

Snappy、Zstd、LZ4 对比，压缩比与解压速度权衡，降低存储与网络开销。

文件格式优化

Parquet 与 ORC 选择、列式存储优势、行组大小调优，适配不同工作负载。

快照过期策略、历史版本清理与 Time Travel 成本控制，平衡回溯能力与存储效率。

快照Time Travel

数据去重与合并

CDC 场景重复数据处理、Merge-on-Read 优化及 Compaction 策略，保证数据一致性。

存储后端选择

HDFS vs S3 vs OSS、冷热分层存储与数据生命周期管理，降低基础设施支出。

查询引擎适配

Spark、Flink、Trino 的 Iceberg 优化配置，释放引擎级成本节约潜力。

SparkFlinkTrino

批量写入、微批次写入与写入并行度控制，减少小文件与写入放大。

写入微批次

谓词下推、向量化读取与数据跳过技术，大幅削减扫描数据量。

谓词下推向量化

统计信息管理

列统计信息收集、NDV 估算与过期处理，为优化器提供精准决策依据。

统计信息NDV

Iceberg 隐式索引、Bloom Filter 与位图索引，加速点查与过滤。

索引Bloom Filter

数据布局优化

Bucket 分区、散列分布与数据倾斜处理，均衡存储与计算负载。

事务与并发控制

乐观锁机制、冲突处理与写入隔离级别，保障高并发下的成本稳定。

事务乐观锁

Hive Metastore vs REST Catalog、缓存策略与连接池调优，降低元数据访问延迟。

数据保留策略

TTL 设置、数据过期删除与归档策略，自动回收冷数据。

增量处理优化

增量查询、增量写入与 Change Data Capture 成本，精准控制流处理开销。

资源调度优化

Spark 动态资源分配、Flink Checkpoint 调优与并行度设置，弹性缩减计算成本。

资源Checkpoint

网络与 IO 优化

数据本地性、压缩传输、预读与缓存，减少网络与磁盘 IO 开销。

监控与告警

关键指标采集、成本可视化与异常检测，建立成本可观测体系。

自动化运维

定时 Compaction、自动清理脚本与自愈机制，降低人工干预成本。

自动化Compaction

成本模型建立

TCO 计算、存储成本模型与计算成本模型，量化优化收益。

混合云部署

跨云数据同步、数据引力与带宽成本优化，实现多云成本最优。

混合云带宽

安全与合规成本

加密开销、审计日志与访问控制成本，在安全与效率间取得平衡。

性能基准测试

TPC-DS 测试、自定义压测与优化前后对比，用数据驱动成本决策。

基准测试TPC-DS

某电商平台 Iceberg 成本优化全流程，从诊断到落地完整复盘。

Iceberg 2.0 新特性、Serverless Iceberg 与 AI 辅助优化，前瞻成本演进方向。

趋势Serverless