VIP20

本课程属于：026-数据湖治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据湖小文件合并策略与性能优化

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

小文件问题概述

什么是小文件问题、小文件产生的根源、小文件对存储与计算的影响。

HDFS小文件问题

HDFS元数据瓶颈、NameNode内存压力、小文件对读写性能的影响。

元数据NameNode

合并策略基础

合并的核心思想、合并的粒度选择、合并的时机选择。

离线合并策略

基于文件大小的合并、基于时间窗口的合并、基于分区的合并。

文件大小时间窗口

实时合并策略

微批合并、异步合并、Compaction机制。

Hive中的小文件合并

Hive合并参数配置、Hive合并命令、Hive合并最佳实践。

参数最佳实践

Spark中的小文件合并

Spark coalesce与repartition、Spark AQE动态合并、Spark写优化。

Flink中的小文件合并

Flink Checkpoint与文件合并、Flink Streaming File Sink、Flink合并策略。

CheckpointFileSink

HBase中的小文件合并

HBase Compaction机制、Major与Minor Compaction、Compaction调优。

Compaction调优

Kafka中的小文件问题

Kafka日志分段、Segment合并策略、日志清理策略。

对象存储小文件问题

OSS/S3小文件性能影响、对象存储合并策略、元数据优化。

文件格式选择

Parquet、ORC、Avro对比、列式存储对小文件的优化、文件格式与压缩。

压缩算法选择

Snappy、Gzip、Zstd对比、压缩对合并的影响、压缩比与解压速度权衡。

合并工具与框架

Hadoop Archive、Spark Merge、自研合并工具。

合并策略设计原则

数据倾斜处理、合并失败处理、合并进度监控。

合并性能调优

并行度设置、内存配置、IO优化、网络优化。

合并任务调度

定时合并、触发式合并、增量合并。

合并与数据一致性

合并过程中的数据可见性、合并失败回滚、幂等合并。

可见性幂等

合并与数据生命周期

冷热数据分离、归档合并、过期数据清理。

冷热分离归档

合并监控与告警

合并任务监控指标、合并延迟告警、合并失败告警。

合并成本分析

计算成本、存储成本、网络成本、人力成本。

合并策略评估

合并效果评估指标、合并前后对比、ROI分析。

大规模集群合并实践

千亿级数据合并案例、PB级存储合并方案。

云原生环境合并

Kubernetes合并任务、Serverless合并、云存储合并。

合并与数据湖

Delta Lake合并、Apache Iceberg合并、Hudi合并。

合并与数据仓库

ClickHouse合并、Doris合并、StarRocks合并。

ClickHouseDoris

合并与搜索引擎

Elasticsearch分段合并、Lucene合并策略。

合并与日志系统

ELK小文件合并、日志聚合策略。

合并与AI训练

训练数据小文件合并、TFRecord合并、Petastorm合并。

TFRecordPetastorm

未来趋势与总结

存算分离趋势、Serverless合并、AI驱动合并策略。

存算分离AI驱动