VIP9

本课程属于：016-Spark、Lakehouse与Databricks工程 后端、数据与云原生工程 · 共 9 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据倾斜诊断与精准调优

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据倾斜初探

什么是数据倾斜、典型表现（任务卡死、OOM、长尾任务）以及对分布式计算的影响。

数据倾斜根因分析

Key分布不均、数据膨胀、Join键空值过多、业务逻辑导致的热点Key。

根因热点Key

数据倾斜诊断工具

Spark UI界面解读（Stage/Task/Shuffle）、Hive Explain计划、Flink Web Dashboard。

数据倾斜量化指标

任务执行时间标准差、分区大小变异系数、Shuffle数据量峰值/均值比。

数据倾斜模拟实验

Python生成Zipf倾斜数据集、Spark构造倾斜场景、观察任务执行差异。

数据倾斜通用解决思路

预处理阶段优化、计算阶段优化、后处理阶段优化。

方法论阶段

Spark调优-调整并行度

原理分析、spark.sql.shuffle.partitions参数、repartition/coalesce场景。

Spark调优-加盐技术

加盐原理、随机前缀加盐实现、自定义分区器加盐。

Spark调优-广播变量

小表广播原理、自动广播阈值设置、手动广播Hint。

Spark调优-两阶段聚合

局部聚合+全局聚合原理、combineByKey实现、reduceByKey与groupByKey选择。

SparkPartial Agg

Spark调优-倾斜Key单独处理

过滤倾斜Key、单独Join、Union合并结果。

Spark调优-数据重分区策略

Hash分区 vs Range分区、自定义分区器、分区数动态调整。

Spark调优-AQE自适应查询

动态合并分区、动态切换Join策略、动态优化倾斜Join。

Hive调优-MapJoin与BucketMapJoin

MapJoin原理、自动阈值、Bucket表创建与Join优化。

Hive调优-分组聚合优化

hive.groupby.skewindata参数、多维度聚合、Count Distinct优化。

Hive调优-大表Join小表

STREAMTABLE Hint、SMB Join原理与配置。

Flink调优-KeyBy优化

KeyBy分区策略、自定义KeySelector、KeyGroup与Subtask关系。

Flink调优-两阶段聚合与MiniBatch

MiniBatch聚合原理、table.exec.mini-batch.enabled、Local-Global聚合。

Flink调优-Watermark与窗口优化

事件时间倾斜处理、窗口分配器优化、Allowed Lateness与侧输出。

Flink调优-异步IO与缓存

AsyncIO解决外部存储热点、Guava Cache缓存热点数据。

实时数据倾斜监控与告警

Prometheus+Grafana监控Shuffle指标、自定义告警规则、实时Dashboard。

自动化诊断工具开发

基于Spark REST API采集指标、Python分析倾斜度、自动生成调优报告。

工具自动化

案例-电商大促订单分析

商品ID热点定位、加盐+两阶段聚合方案、性能从2小时到15分钟。

案例-用户行为日志ETL

用户ID空值根因、空值过滤+随机Key方案、Shuffle数据量降低80%。

案例-实时广告点击流统计

广告位ID热点、Flink MiniBatch+LocalGlobal方案、延迟从10秒降到1秒。

案例-社交网络关系图谱计算

大V用户粉丝数热点、广播变量+倾斜Key单独处理、任务稳定性提升。

案例-金融风控特征工程

特征交叉组合爆炸、自定义分区器+数据重分布、特征计算时间减少70%。

最佳实践总结

调优方法论（诊断-分析-解决-验证）、常见误区、调优Checklist。

总结方法论

进阶-机器学习场景

特征工程倾斜、模型训练数据倾斜、分布式训练参数同步倾斜。

Serverless Spark自动调优、AI辅助倾斜诊断、新一代引擎倾斜处理机制。