VIP20

本课程属于：002-数据湖仓平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

湖仓小文件合并与Compaction策略设计

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Compaction概述

什么是数据湖仓Compaction、为什么需要Compaction、核心目标与挑战。

小文件问题剖析

小文件产生的根源、对查询性能的影响、对存储成本的浪费。

Compaction核心原理

文件合并机制、数据重写与排序、元数据更新流程。

Compaction触发策略

基于文件数量、文件大小、时间窗口、分区级别的触发方式。

Compaction执行模式

在线同步、离线异步、增量与全量Compaction模式详解。

Compaction策略分类

Major、Minor、Cumulative、Base Compaction策略对比。

Apache Hudi Compaction

Copy-on-Write与Merge-on-Read存储类型、工作原理、配置参数。

Apache Iceberg Compaction

Manifest文件管理、Rewrite Data Files操作、Expire Snapshots机制。

Delta Lake Compaction

Transaction Log、Optimize命令、Vacuum清理机制。

Compaction与事务一致性

ACID保证、并发冲突处理、快照隔离与Compaction。

事务一致性

Compaction资源管理

CPU与内存估算、IO带宽优化、优先级调度。

Compaction性能调优

并行度设置、文件大小阈值调优、排序键选择策略。

Compaction监控与告警

关键指标、Prometheus+Grafana方案、告警规则设计。

Compaction失败处理

常见失败原因、自动重试机制、手动修复方案。

Compaction与数据湖仓分层

Bronze/Silver/Gold层策略差异，ODS/DWD/DWS/ADS实践。

实时流式Compaction

Flink集成、微批处理、Exactly-Once语义下的Compaction。

批量离线Compaction

Spark作业实现、Hive集成、Airflow/DolphinScheduler编排。

Compaction与数据治理

数据生命周期管理、数据血缘影响、数据质量。

跨集群Compaction策略

异地多活、数据复制协同、跨云挑战。

Compaction成本优化

存储与计算成本平衡、按需与定期经济性、Spot实例应用。

Compaction与查询引擎优化

对Presto/Trino、Spark SQL、Hive查询的加速效果。

Compaction最佳实践

大表、分区表、增量表与全量表的策略设计。

最佳实践设计

Compaction测试与验证

数据一致性验证、性能基准测试、效果评估指标。

Compaction与Schema Evolution

Schema变更处理、列级Compaction、嵌套类型数据。

Compaction与数据加密

加密数据挑战、密钥管理、性能与安全权衡。

云原生环境中的实践

AWS S3+Lake Formation、阿里云OSS+MaxCompute、腾讯云COS+EMR。

云原生实践

Compaction与开源生态

Spark、Flink、Kafka集成，Open Table Format与Compaction。

Compaction未来趋势

Serverless Compaction、AI驱动优化、实时引擎发展。

实战案例一：电商订单

从每日百万小文件到秒级查询的Compaction优化。

实战案例二：物联网时序

TB级物联网时序数据的高效合并与查询加速策略。

实战物联网