VIP20

本课程属于：014-大数据计算优化 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Spark大数据计算优化核心方法论

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

大数据计算优化概述

挑战与核心思想：空间换时间、并行计算、数据本地性，全景方法论图。

数据倾斜的本质与成因

定义、常见场景（Join/GroupBy/CountDistinct）及定位倾斜方法。

Join优化策略（上）

MapJoin原理、Broadcast Join实战、Skew Join处理技巧。

Join优化策略（下）

Bucket Map Join、Sort Merge Bucket Join、大表Join大表优化。

数据预处理优化

过滤下推、列裁剪、分区裁剪、谓词下推原理与实战。

Shuffle原理剖析、写/读优化及核心参数调优。

内存管理与GC优化

堆内/堆外内存、分配策略、GC调优与OOM排查。

文件格式与压缩

行存vs列存、Parquet/ORC/Avro对比、Snappy/Zstd/LZ4选择。

数据序列化与网络传输

Java vs Kryo序列化、Netty调优、网络带宽瓶颈分析。

资源调度与并行度

YARN/Kubernetes资源分配、并行度设置、动态资源分配。

调度并行度

Spark SQL优化（上）

Catalyst优化器、Tungsten引擎、AQE自适应查询执行。

Spark SQL优化（下）

CBO成本优化、Hint机制、UDF优化技巧。

Hive on MR vs Spark、Tez引擎优化、向量化查询。

Flink优化（上）

Checkpoint与状态优化、State Backend选择、RocksDB调优。

Flink优化（下）

Watermark与窗口优化、反压检测、Operator Chain优化。

数据仓库分层优化

ODS/DWD/DWS/ADS分层设计、冗余与一致性权衡、模型复用。

索引与统计信息

Hive/Spark统计信息收集、物化视图、Bloom Filter索引。

数据采样与近似计算

蓄水池采样、HyperLogLog、Count-Min Sketch频次估计。

增量计算与Lambda架构

全量vs增量、Lambda架构优缺点、Kappa架构实践。

实时计算优化

实时ETL设计、Kafka/Pulsar选型、背压处理策略。

实时消息队列

数据湖与湖仓一体

Delta/Iceberg/Hudi对比、ACID事务、Time Travel查询。

MPP数据库优化

ClickHouse/Doris/StarRocks优化、列式存储与向量化、物化视图。

缓存与中间结果复用

RDD/DataFrame缓存策略、Cache级别选择、中间结果落盘。

任务调度与依赖管理

DAG调度优化、任务优先级、失败重试与容错机制。

监控与性能诊断

Spark Web UI、Flink Dashboard、Grafana+Prometheus监控。

代码层面优化

避免Shuffle算子、Broadcast变量、减少对象创建、序列化优化。

编码最佳实践

数据倾斜实战案例（一）

GroupBy倾斜：两阶段聚合、随机前缀打散方案。

倾斜实战聚合

数据倾斜实战案例（二）

Join倾斜：MapJoin+倾斜键分离、Salting技术。

大规模集群调优案例

千台集群调优经验、资源隔离、混部场景优化。

未来趋势与总结

Serverless Spark、AI for Optimization、存算分离、方法论总结。