VIP20

本课程属于：014-大数据计算优化 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Spark内存管理与调优实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Spark内存模型概述

Executor内存布局、堆内与堆外内存、内存管理架构演进。

Spark内存配置参数详解

spark.executor.memory、spark.memory.offHeap.enabled、spark.memory.fraction等核心参数。

统一内存管理机制

Reserved Memory、User Memory、Spark Memory的划分与计算。

原理内存划分

执行内存与存储内存

Execution Memory与Storage Memory的职责、动态占用与抢占机制。

堆外内存管理

Off-Heap Memory的配置、使用场景与注意事项。

内存压力测试与监控

使用Spark UI、History Server、Metrics System监控内存使用。

Shuffle内存调优

Shuffle Write Buffer、Shuffle Read Aggregation的内存消耗与优化。

数据序列化与内存

Kryo序列化、Java序列化对内存的影响及选型建议。

序列化优化

RDD缓存与持久化

cache()、persist()的内存策略、StorageLevel的选择。

DataFrame/Dataset缓存

列式存储与内存压缩、cache与checkpoint的权衡。

DataFrame列式

广播变量与累加器

Broadcast的内存优化、Accumulator的内存安全。

广播共享变量

Join操作内存调优

Broadcast Hash Join、Sort Merge Join的内存消耗对比。

Aggregation操作内存调优

HashAggregate与SortAggregate的内存模型。

聚合内存模型

Window函数内存调优

窗口分区与排序的内存开销、避免数据倾斜。

数据倾斜与内存溢出

倾斜原因分析、Salting、Repartition等解决方案。

Spark SQL内存调优

AQE（自适应查询执行）对内存的优化。

动态资源分配

Dynamic Allocation的内存管理策略与配置。

Task内存管理

Task执行中的内存分配、Task失败与内存泄漏。

JVM GC对Spark作业的影响、G1GC与ParallelGC的选择。

内存溢出（OOM）实战排查

堆内OOM、堆外OOM、Direct Memory OOM。

Spark on YARN内存管理

Container内存、Overhead内存的配置。

Spark on Kubernetes内存管理

Pod内存限制、OOMKilled问题排查。

内存与CPU的协同调优

并行度、Core数、内存配比的黄金法则。

协同黄金法则

大表与小表Join优化

Map Join、Bucketed Join的内存策略。

复杂数据类型的内存优化

Struct、Array、Map的内存布局与压缩。

复杂类型压缩

Spark Streaming内存调优

State Store、WAL、Receiver的内存管理。

Structured Streaming内存调优

State Management、Watermark与内存释放。

结构化流Watermark

内存调优案例分析

电商大促场景、实时数仓场景、机器学习训练场景。

Spark 3.x新特性与内存优化

Dynamic Partition Pruning、Adaptive Execution。

内存调优总结与最佳实践

Checklist、常见误区、性能调优方法论。

总结最佳实践

专注课程资料整理