VIP20

本课程属于：014-大数据计算优化 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Spark调优实战从入门到进阶

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Spark调优概述

Spark为什么需要调优？深入剖析Spark性能模型与核心瓶颈，建立调优全局视角。

性能模型瓶颈分析

Spark运行原理与架构

Spark作业提交流程、Driver与Executor角色分工、RDD依赖与DAG调度机制详解。

作业提交DAG调度

Spark配置参数详解

spark-defaults.conf核心参数解读、动态资源分配、序列化与内存模型配置最佳实践。

参数配置内存模型

数据倾斜调优（上）

数据倾斜的成因与典型现象，通过Spark UI精准定位倾斜任务，掌握分析方法。

数据倾斜UI分析

数据倾斜调优（下）

加盐、广播、重分区、调整并行度等解决方案实战，结合案例彻底根治倾斜。

加盐广播重分区

Spark内存管理调优

堆内与堆外内存、统一内存管理机制、内存压力测试与OOM排查实战。

内存管理OOM

Spark Shuffle调优

Shuffle原理深度解析，Shuffle Write/Read优化技巧及核心参数调优策略。

Shuffle参数调优

Spark SQL 执行计划与优化

Catalyst优化器、Tungsten引擎、AQE自适应查询执行，让SQL性能飞升。

Spark Join策略调优

Broadcast Hash Join、Sort Merge Join、Shuffle Hash Join的选择与优化实战。

Join策略广播

Spark 数据序列化与压缩

Kryo序列化、Java序列化对比，Snappy、LZ4、Zstd压缩格式选型与配置。

Spark 文件格式与存储优化

Parquet、ORC、Avro格式对比，列式存储与谓词下推原理及实践。

ParquetORC谓词下推

Spark 资源分配与并行度调优

CPU、内存、Executor数量的黄金比例，并行度设置公式与案例。

资源分配并行度

Spark 缓存与持久化调优

cache()、persist()、checkpoint()的使用场景与策略，避免重复计算。

缓存checkpoint

Spark 广播变量与累加器

广播大表优化Join，累加器实现自定义聚合，避免Driver OOM。

广播变量累加器

Spark 动态资源分配

External Shuffle Service、动态Executor上下线、资源弹性伸缩配置。

动态资源ESS

Spark 任务调度与Stage划分

宽窄依赖、Stage划分原则、FIFO与FAIR调度策略对比。

Stage调度策略

Spark 数据本地性调优

数据本地性级别、等待时间配置、跨机房/跨集群优化方案。

数据本地性跨集群

JVM垃圾回收原理、G1GC与CMS选择、GC日志分析与参数调优。

Spark 网络与IO调优

Netty配置、连接超时、重试机制、NIO与Epoll优化实践。

Spark 3.x 新特性与调优

AQE、动态分区裁剪、Join优化、自适应倾斜处理等新特性实战。

Spark Streaming 调优

微批处理调优、背压机制、状态管理、Exactly-Once语义实现。

Streaming背压

Spark MLlib 调优

特征工程优化、算法并行度、模型训练与推理性能调优技巧。

MLlib特征工程

Spark 与 Hive 集成调优

Hive on Spark配置、元数据同步、分区表优化与实战。

Spark 与 Kafka 集成调优

Direct Stream、offset管理、消费速率控制、背压调优策略。

Spark 监控与诊断

Spark UI详解、Metrics系统、日志收集、Ganglia/Prometheus集成。

监控Prometheus

Spark 性能测试与基准

TPC-DS测试、自定义压测脚本、性能基线建立与对比分析。

Spark 常见故障排查

OOM、Executor丢失、Task失败、Driver挂掉、连接超时等故障处理。

故障排查OOM

Spark 调优案例实战（一）

百亿级日志ETL调优，数据倾斜与Shuffle优化实战案例。

ETL实战案例

Spark 调优案例实战（二）

实时推荐系统调优，Streaming与批处理混合场景优化。

推荐系统混合场景

Spark 调优总结与最佳实践

调优方法论、Checklist、持续优化策略与未来趋势展望。

最佳实践方法论