VIP20

本课程属于：014-大数据计算优化 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Shuffle机制原理与性能调优

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

什么是Shuffle，在MapReduce/Spark中的地位，以及Shuffle的演进历史。

MapReduce Shuffle原理

Map端分区、排序、溢写、合并；Reduce端拉取、合并、归并排序。

MapReduce流程

Spark Shuffle原理

Hash Shuffle与Sort Shuffle两种实现，Shuffle Write/Read详细流程。

Shuffle性能瓶颈分析

磁盘I/O、网络传输、序列化/反序列化开销与内存压力深度剖析。

Shuffle调优实战

缓冲区大小、分区数、压缩策略、数据倾斜解决方案与内存调优参数。

Shuffle数据倾斜

原因分析、加盐/两阶段聚合/重分区等解决方案与实战案例。

Shuffle与存储

中间文件存储策略、SSD vs HDD选择、临时目录配置。

Shuffle与网络

网络带宽影响、拓扑感知、数据本地性优化。

网络本地性

Shuffle与序列化

Java vs Kryo序列化、自定义序列化器及性能影响。

Shuffle与压缩

Snappy/LZ4/Zstd对比，压缩对CPU和网络的影响及策略选择。

Shuffle与内存管理

Spark内存模型(Execution/Storage)，Shuffle内存分配与溢出处理。

Shuffle与GC调优

GC对Shuffle的影响，G1GC vs ParallelGC，日志分析与调优。

Shuffle与文件系统

HDFS vs 本地文件系统，文件清理机制与文件句柄管理。

文件系统HDFS

Shuffle与容错

重试机制、FetchFailed异常处理、推测执行对Shuffle的影响。

Shuffle与动态资源分配

动态Executor分配、动态分区数调整对Shuffle的影响。

Spark 3.0 AQE优化：动态合并分区、动态切换Join策略。

Shuffle Hash Join vs Sort Merge Join，Broadcast Join优化与策略选择。

Shuffle与聚合

Map端预聚合(combiner)、Reduce端聚合、两阶段聚合优化。

Shuffle与排序

全局排序 vs 局部排序，Timsort vs QuickSort，排序对性能的影响。

Shuffle与分区

Hash/Range/自定义分区，分区数影响与策略选择。

Shuffle与数据本地性

PROCESS_LOCAL / NODE_LOCAL / RACK_LOCAL 级别与等待时间调优。

本地性调度

Shuffle与资源调度

YARN vs Kubernetes资源调度影响，资源分配策略。

Shuffle与监控

Shuffle Read/Write Bytes、Spill、Fetch Wait Time等指标与监控工具。

Shuffle与日志分析

关键日志信息、常见错误日志分析、日志级别调优。

Shuffle与硬件选型

CPU核心、内存大小、磁盘类型、网络带宽选择建议。

Shuffle与云原生

云环境挑战、Spot实例影响、云存储作为中间存储。

Shuffle与Remote Shuffle Service

RSS原理、Apache Celeborn介绍，RSS vs 原生Shuffle对比。

Shuffle与AI/ML

机器学习训练中的Shuffle需求，大规模数据优化与GPU集群挑战。

Shuffle与实时计算

Flink/Spark Streaming Shuffle，微批与流处理差异，低延迟优化。

实时流处理

Shuffle未来趋势

Serverless Shuffle、内存Shuffle、RDMA加速、新型硬件影响。