VIP20

本课程属于：023-数据湖仓一体：Delta Lake、Apache Iceberg与Apache Hudi AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Spark与Iceberg读写性能调优实战

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · 性能调优的整体思路

课程导入学习目标

Spark与Iceberg基础回顾

Spark SQL与DataFram… · Iceberg表格式核心概念

性能调优预备知识

理解Spark执行计划 · 监控与诊断工具

性能调优预备知识Spark

Iceberg表设计优化

分区策略 · 排序方式 · 文件布局

Iceberg表设计优化

Spark读写Iceberg的配置参数

核心配置项及其影响

读性能调优

谓词下推 · 列裁剪 · 矢量化读取

读性能调优谓词下推

写性能调优

写入模式 · 文件大小控制 · 压缩策略

写性能调优写入模式

数据布局优化

Z-Order排序 · 隐藏分区 · 布隆过滤器

数据布局优化Z-Order

Spark查询优化

广播连接 · 动态分区裁剪 · 自适应查询执行

Spark查询优化

Iceberg表维护

快照管理 · 过期文件清理 · 元数据优化

Iceberg表维护

并发控制与隔离级别

快照隔离 · 冲突处理

并发控制隔离级别

缓存与内存管理

Spark缓存 · Iceberg元数据缓存

缓存内存管理

Shuffle与Join优化

减少Shuffle · 优化Join策略

文件格式与压缩

Parquet/ORC选择 · 压缩算法对比

文件格式压缩

电商订单数据读写性能调优

案例实战电商订单数据读写…

日志分析场景的写入优化

案例实战日志分析场景的写…

大规模数据集的查询加速

案例实战大规模数据集的查…

常见性能瓶颈分析

数据倾斜 · 小文件问题 · 元数据开销

常见性能瓶颈分析数据倾斜

数据倾斜处理

加盐 · 两阶段聚合 · 动态重分区

数据倾斜处理加盐

小文件问题解决

合并小文件 · 动态分区写入优化

小文件问题解决合并小文件

元数据性能优化

元数据表分区 · 元数据缓存策略

元数据性能优化元数据表分区

Spark与Iceberg集成最佳实践

版本兼容 · 配置推荐

性能测试与基准

TPC-DS测试 · 基准工具使用

性能测试基准

调优案例分析

真实业务场景调优全过程

调优案例分析真实业务场景调优…

常见问题与解决方案

读写失败 · 性能下降排查

常见问题解决方案

监控与告警

Spark UI · Iceberg metrics · 日志分析

向量化引擎 · GPU加速 · 数据跳过

进阶调优向量化引擎

构建高性能数据湖分析平台

综合实战构建高性能数据湖…

性能调优方法论

调优流程 · 性能模型 · 成本权衡

性能调优方法论调优流程

核心要点回顾 · 学习路径建议 · 未来趋势

课程总结核心要点回顾