VIP20

本课程属于：014-大数据计算优化 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

手把手教你优化Spark作业

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Spark是什么？为什么它比Hadoop快？核心组件（Spark Core, SQL, Streaming, MLlib）概览。

核心概念组件

开发环境搭建

本地模式安装、Spark-Shell初体验、第一个WordCount程序。

RDD的五大特性、创建RDD的两种方式（并行化集合、读取外部数据源）。

RDD算子实战（上）

map、filter、flatMap、mapPartitions、distinct、union。

RDD算子实战（下）

groupByKey、reduceByKey、sortByKey、join、cogroup。

RDD的依赖关系

窄依赖与宽依赖、Stage划分原理、DAG图解析。

Spark任务调度机制

Application、Job、Stage、Task的关系，Driver与Executor的协作。

Spark Shuffle原理

Hash Shuffle与Sort Shuffle的演进、Shuffle调优参数。

Spark内存管理

堆内与堆外内存、统一内存管理模型、内存调优策略。

Spark SQL入门

DataFrame与DataSet的区别、SparkSession的使用。

Spark SQL核心操作

SQL查询、DSL操作、UDF/UDAF自定义函数。

Catalyst优化器

逻辑计划与物理计划、谓词下推、列剪枝、常量折叠。

优化器执行计划

钨丝计划的核心思想、代码生成、缓存友好的数据结构。

Spark Streaming基础

DStream原理、Receiver模式与Direct模式。

流处理DStream

Structured Streaming

Event-Time处理、Watermark机制、状态管理。

流处理结构化

Spark MLlib入门

特征工程（VectorAssembler, StringIndexer）、常见算法（LR, RF）。

机器学习特征工程

图计算基础、PageRank算法实现、三角计数。

图计算算法

数据倾斜（上）

现象与危害、定位倾斜的几种方法（查看Stage、Task耗时）。

数据倾斜诊断

数据倾斜（下）

解决方案大全（加盐、广播变量、调整并行度、自定义分区器）。

数据倾斜解决方案

Spark参数调优（上）

资源参数（executor-cores, num-executors, executor-memory）。

参数调优资源

Spark参数调优（下）

并行度、序列化、动态资源分配、推测执行。

参数调优执行

代码层面的优化

使用reduceByKey代替groupByKey、避免创建重复RDD、使用Kryo序列化。

代码优化最佳实践

文件格式与存储优化

Parquet与ORC的选择、分区表与分桶表、小文件问题处理。

存储文件格式

Yarn Cluster与Client模式、日志查看、资源队列配置。

Spark on Kubernetes

容器化部署、动态资源分配、Spark Operator。

Spark 3.x新特性

AQE（自适应查询执行）、Dynamic Partition Pruning、Join Hints。

Spark性能监控

Spark UI详解（Jobs, Stages, Storage, Environment, Executors）、History Server。

常见故障排查

OOM（内存溢出）、连接超时、元数据丢失、序列化失败。

企业级最佳实践

ETL作业优化、实时数仓架构、机器学习Pipeline调优。

最佳实践企业级

从0到1优化一个生产级Spark作业（问题分析 -> 参数调整 -> 代码重构 -> 效果验证）。

专注课程资料整理