VIP20

本课程属于：014-大数据计算优化 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

文件大小对Spark性能影响

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

文件大小与Spark任务分片机制

深入理解Spark如何根据文件大小决定分区数，以及分区数对并行度的影响。

分片并行度

小文件问题详解

定义小文件、小文件产生的根源（如流式写入、过度分区）、小文件对Driver和Executor的负面影响。

小文件根源负面影响

大文件问题详解

定义大文件、大文件导致的资源倾斜、GC压力以及数据本地性失效。

大文件资源倾斜GC

HDFS块大小与Spark分区的关系

剖析dfs.blocksize参数如何影响Spark的默认分区策略，以及如何手动调整。

HDFS块大小分区

Spark读取文件的InputFormat机制

详解TextInputFormat、CombineFileInputFormat、ParquetInputFormat等的工作原理。

InputFormat读取

Parquet文件格式与文件大小

Parquet的Row Group大小、Page Size如何影响文件大小和查询性能。

ParquetRow GroupPage Size

ORC文件格式与文件大小

ORC的Stripe大小、Index stride等参数对文件大小和读取性能的影响。

Avro与JSON文件大小对比

Avro的二进制压缩与JSON的文本膨胀，以及它们在Spark中的性能差异。

压缩算法对文件大小的影响

Snappy、Gzip、LZ4、Zstd的压缩比与解压速度权衡，以及如何选择。

Spark SQL中的文件大小优化

使用spark.sql.files.maxPartitionBytes和spark.sql.files.openCostInBytes控制分区。

Spark SQL分区控制

动态资源分配与文件大小

spark.dynamicAllocation.enabled如何根据文件大小和任务负载动态调整Executor数量。

动态资源Executor

自适应查询执行（AQE）与文件大小

spark.sql.adaptive.enabled如何动态合并小分区，优化文件读取。

AQE动态合并

小文件合并策略（Coalesce与Repartition）

详解coalesce和repartition的区别，以及如何用于合并小文件。

CoalesceRepartition合并

使用Hive合并小文件

Hive的MERGE小文件机制，以及如何通过Spark SQL触发Hive的合并操作。

流式作业中的小文件控制

在Structured Streaming中如何通过触发间隔、水位线、以及输出模式控制文件大小。

流式Structured Streaming

数据倾斜与文件大小不均

文件大小不均导致的数据倾斜问题，以及如何通过Salting或Range分区解决。

数据倾斜Salting

文件大小对Shuffle性能的影响

Shuffle中间文件的大小如何影响网络IO和磁盘IO，以及如何优化。

文件大小对Cache性能的影响

缓存大文件或小文件对内存使用率和GC的不同影响。

文件大小对Task调度的影响

Task处理不同大小文件的时间差异，以及如何避免长尾Task。

Task调度长尾

文件大小对数据本地性的影响

大文件如何破坏数据本地性，导致跨节点数据传输。

数据本地性跨节点

文件大小与Spark UI监控

如何通过Spark UI的Stage页面、SQL页面识别文件大小相关性能瓶颈。

文件大小与Executor内存配置

根据文件大小合理配置spark.executor.memory和spark.memory.offHeap.enabled。

内存配置Executor

文件大小与并行度调优

如何根据总数据量和文件大小计算最优并行度（分区数）。

并行度调优

使用Delta Lake优化文件大小

Delta Lake的OPTIMIZE命令、Z-Ordering如何自动合并小文件。

Delta LakeOPTIMIZE

使用Apache Iceberg优化文件大小

Iceberg的Compaction机制和文件布局优化。

IcebergCompaction

使用Apache Hudi优化文件大小

Hudi的Clustering和Compaction服务如何控制文件大小。

文件大小与列式存储的过滤下推

Parquet/ORC的谓词下推如何受文件大小影响。

谓词下推列式存储

文件大小与向量化读取

Spark的向量化读取（Vectorized Parquet/ORC）如何受文件大小影响。

向量化读取

文件大小与Kryo序列化

Kryo序列化对文件大小的影响，以及如何与压缩算法配合。

综合案例：从100GB日志数据中优化文件大小

一个完整的端到端案例，涵盖问题诊断、策略选择、代码实现和效果评估。

综合案例端到端