VIP20

本课程属于：014-大数据计算优化 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Spark大数据计算优化综合实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

大数据计算优化概述

大数据计算面临的挑战、优化目标（性能、成本、稳定性）、优化方法论总览。

总览方法论

数据倾斜原理与定位

数据倾斜的成因、常见表现（OOM、任务长尾）、定位方法（Spark UI、Hive日志）。

Join优化策略

Map Join、Broadcast Join、Skew Join的原理与适用场景，以及如何避免数据膨胀。

Shuffle原理、Shuffle Write/Read调优、减少Shuffle数据量的技巧。

内存与GC调优

堆内存分配、Off-Heap使用、GC算法选择（G1 vs CMS）、常见OOM案例分析。

文件格式与压缩

Parquet、ORC、Avro格式对比，Snappy、Zstd、LZ4压缩算法选择，列式存储查询加速。

分区与分桶策略

动态分区、静态分区、分区裁剪、分桶表应用场景，避免小文件问题。

Spark SQL优化

Catalyst优化器原理、Tungsten执行引擎、AQE（自适应查询执行）配置与实战。

Hive on MR vs Hive on Spark、Tez引擎优化、向量化查询、CBO优化器。

Checkpoint与State调优、反压检测与处理、并行度设置、Watermark策略优化。

资源管理与调度

YARN vs Kubernetes、动态资源分配、Fair Scheduler vs Capacity Scheduler配置。

数据管道优化

Lambda架构与Kappa架构选择、Kafka吞吐量调优、批量与流式处理权衡。

代码与算子优化

RDD vs DataFrame/Dataset选择、避免Shuffle的算子设计、UDF性能陷阱。

缓存与持久化策略

RDD缓存级别选择、Checkpoint机制、Cache vs Persist的区别与实战。

缓存Checkpoint

数据序列化优化

Java序列化 vs Kryo序列化、Avro与Protobuf选择、序列化对网络IO影响。

任务并行度调优

并行度设置原则、数据分区数与核心数的关系、动态调整并行度的技巧。

并行度核心数

网络与IO优化

网络带宽瓶颈、零拷贝技术、异步IO与批量读写、SSD vs HDD选择。

数据采样与预计算

分层采样、布隆过滤器、HyperLogLog、物化视图与预聚合表应用。

采样预聚合

增量计算与批流一体

增量计算模型、CDC技术（Debezium）、Flink CDC实战、批流一体架构设计。

CDC批流一体

数据质量与校验

数据完整性校验、去重策略（精确去重 vs 近似去重）、异常数据处理流水线。

监控与告警体系

Prometheus + Grafana监控、Spark/Flink Metrics、自定义告警规则、SLA保障。

CI/CD与自动化测试

数据管道CI/CD流程、数据比对测试、回归测试、性能基准测试。

云原生大数据优化

对象存储（S3/OSS）优化、Spot实例使用策略、弹性伸缩与成本控制。

数据湖与湖仓一体

Delta Lake、Apache Iceberg、Apache Hudi优化特性、ACID事务与时间旅行。

数据湖Iceberg

大规模集群调优

集群节点配置、机架感知、数据本地性、HDFS Rack Awareness实战。

集群机架感知

SQL优化器深入

统计信息收集、谓词下推、投影下推、Join Reorder、CTE优化。

优化器下推

实时数仓优化

Doris/ClickHouse查询优化、物化视图、Rollup表设计、分区分桶策略。

实时数仓Doris

机器学习管道优化

特征工程并行化、模型训练分布式优化（Horovod）、超参搜索优化。

Spot实例与预留实例策略、冷热数据分层、计算与存储分离架构、资源利用率提升。

成本冷热分层

综合案例实战

百亿级数据倾斜处理、实时ETL性能优化、全链路延迟优化、故障恢复与容灾。

实战全链路