VIP20

本课程属于：002-数据湖仓平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

湖仓Compaction性能监控与成本优化

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Compaction基础概念

什么是数据湖仓的Compaction，为什么需要Compaction，小文件问题的由来。

Compaction核心原理

合并小文件、去重、排序、列式存储优化，以及事务性保证。

Compaction触发策略

手动触发、定时触发、事件驱动触发、文件数阈值触发。

策略自动化

Compaction资源模型

CPU、内存、IO、网络带宽的消耗模型与预估。

Compaction并行度调优

如何设置并行任务数，避免资源争抢与死锁。

Compaction文件大小策略

目标文件大小设定、文件大小分布优化、避免超大文件。

Compaction排序策略

全局排序、局部排序、Z-order排序对查询性能的影响。

Compaction去重策略

基于主键去重、基于时间戳去重、基于版本号去重。

去重数据质量

Compaction事务性保证

ACID特性在Compaction中的实现，快照隔离与并发控制。

Compaction与查询性能

Compaction后查询性能提升的量化评估方法。

Compaction与写入性能

Compaction对写入吞吐量的影响，写放大问题。

写入写放大

Compaction与存储成本

Compaction对存储空间的节省效果，存储成本优化。

Delta Lake Compaction调优

Delta Lake的OPTIMIZE命令参数详解与实战。

Apache Iceberg Compaction调优

Iceberg的Rewrite Data Files操作与配置。

Apache Hudi Compaction调优

Hudi的Inline Compaction与Async Compaction策略。

Hive ACID Compaction调优

Hive的Major Compaction与Minor Compaction配置。

Spark SQL Compaction调优

Spark SQL中Compaction任务的资源分配与优化。

Flink Compaction调优

Flink流式写入场景下的Compaction策略与调优。

Compaction监控与告警

关键指标（文件数、Compaction耗时、失败率）的监控方案。

Compaction失败处理

常见失败原因分析（OOM、锁冲突、数据倾斜）与恢复策略。

Compaction数据倾斜处理

键分布不均导致的Compaction性能瓶颈与解决方案。

Compaction与数据生命周期管理

冷热数据分离，Compaction策略与TTL结合。

生命周期TTL

Compaction与分区策略

分区键选择对Compaction效率的影响，动态分区优化。

Compaction与文件格式

Parquet、ORC、Avro格式在Compaction中的表现差异。

Compaction与压缩算法

Snappy、Zstd、LZ4、Gzip在Compaction中的选择与权衡。

Compaction与数据湖仓版本演进

从Hive到Iceberg/Hudi/Delta Lake的Compaction演进。

Compaction在实时数仓中的应用

实时写入场景下的Compaction策略与延迟控制。

Compaction在离线数仓中的应用

批量写入场景下的Compaction策略与调度优化。

Compaction成本模型与预算

基于数据量、文件数、查询频率的Compaction成本估算。

Compaction最佳实践与案例

大型企业数据湖仓Compaction调优实战案例总结。