VIP20

本课程属于：014-大数据计算优化 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

掌握Spark调优成为团队核心

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Spark调优全景

为什么调优是团队核心技能、Spark作业的生命周期、调优的三大维度（资源、代码、Shuffle）。

Spark运行架构深潜

Driver与Executor的职责、RDD的血缘与依赖、DAG调度器的工作原理。

资源调优（上）

Executor核心数与内存的黄金比例、YARN队列资源规划、动态资源分配实战。

资源调优（下）

Spark内存模型详解（堆内与堆外）、内存压力测试方法、OOM的常见场景与解决方案。

代码调优（上）

RDD与DataFrame的选择、序列化优化（Kryo vs Java）、广播变量的正确使用姿势。

代码序列化

代码调优（下）

避免Shuffle的编码技巧、使用累加器进行高效聚合、算子选择的最佳实践（map vs mapPartitions）。

Shuffle调优（上）

Shuffle原理深度剖析（Hash、Sort、Tungsten-Sort）、Shuffle Write与Read的瓶颈分析。

Shuffle调优（下）

Shuffle参数调优（spark.shuffle.file.buffer等）、数据倾斜的定位与七种解决方案。

数据倾斜实战

倾斜Key的发现方法、两阶段聚合（加盐）、倾斜Join的优化（广播Join、拆分Join）。

Spark SQL调优

Catalyst优化器原理、AQE（自适应查询执行）的三大特性、动态分区裁剪。

Spark Streaming调优

背压机制（Backpressure）的配置、批次间隔的合理设置、状态管理优化。

Streaming背压

结构化流调优

微批与连续处理的取舍、水印（Watermark）的调优、状态存储优化。

StructuredWatermark

Spark与Hive集成调优

Hive表的文件格式选择（Parquet vs ORC）、分区策略优化、动态分区插入的坑。

Spark与HBase集成调优

BulkLoad原理与实现、RegionServer侧的压力控制、Scan操作的优化。

Spark与Kafka集成调优

消费者偏移量管理、并行度与分区数的匹配、Exactly-Once语义的实现。

KafkaExactly-Once

Spark与HDFS集成调优

小文件问题的根治、数据本地性（Data Locality）的保障、压缩格式的选择。

Spark与YARN集成调优

Container大小的计算、抢占式调度与公平调度、日志聚合的配置。

Spark与Kubernetes集成调优

动态资源分配在K8S上的实现、Pod模板的定制、本地化调度。

Spark监控与诊断

Spark UI的深度解读（Stage、Task、Storage）、事件日志分析、Ganglia与Prometheus集成。

Spark性能基准测试

TPC-DS测试套件的使用、自定义基准测试脚本、性能报告的解读。

Spark 3.x新特性调优

AQE的进阶用法、动态分区裁剪的实战、RDD的优化（push-based shuffle）。

Spark内存调优进阶

堆外内存的精细控制、内存泄漏的排查、GC调优（G1GC vs CMS）。

Spark网络调优

网络带宽的瓶颈分析、连接超时参数的调整、加密与压缩的权衡。

Spark作业调度调优

FIFO vs Fair vs Capacity调度器、作业优先级设置、资源池的划分。

调度资源池

Spark缓存与持久化调优

缓存级别选择（MEMORY_ONLY vs MEMORY_AND_DISK）、Checkpoint的正确使用、缓存清理策略。

缓存Checkpoint

Spark Join策略调优

Broadcast Hash Join、Sort Merge Join、Shuffled Hash Join的选择与强制指定。

Spark UDF与UDAF调优

Python UDF的性能陷阱、Java/Scala UDF的优化、使用原生的Spark SQL函数。

Spark大规模集群调优

集群规模估算、元数据服务（Hive Metastore）的优化、Gateway节点的配置。

Spark调优案例集锦

电商大促场景的实时计算调优、金融风控的批处理调优、物联网数据入湖的流式调优。

成为团队核心

调优方法论总结、调优文档的撰写、如何带领团队进行性能攻坚。

方法论领导力