VIP20
本课程属于：022-数据湖仓一体：Delta Lake、Apache Iceberg与Apache Hudi AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

多引擎湖仓系统级性能优化与全局调优

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 多引擎湖仓性能优化全景图
课程导入学习目标
02
湖仓架构基础
湖仓一体架构 · 核心组件 · 多引擎协同模式
湖仓架构基础湖仓一体架构
03
性能优化方法论
性能工程 · 调优流程 · 基准测试与性能指标
性能优化方法论性能工程
04
存储层优化
文件格式选择 · 数据布局 · 分区与分桶策略
存储层优化文件格式选择
05
计算引擎对比
Spark · Flink · Presto/Trino
计算引擎对比Spark
06
Spark性能调优
内存管理 · Shuffle优化 · 动态资源分配
Spark性能调优
07
Flink性能调优
状态管理 · Checkpoint调优 · 背压处理
Flink性能调优
08
Presto/Trino性能调优
查询规划 · 内存管理 · 连接器优化
Presto/Trino性能调优
09
Hive性能调优
Tez/Spark执行引擎选择 · 向量化 · 并行度设置
Hive性能调优
10
多引擎统一调度
工作负载管理 · 资源池划分 · 优先级策略
多引擎统一调度工作负载管理
11
数据倾斜处理
倾斜检测 · Join倾斜优化 · 聚合倾斜优化
数据倾斜处理倾斜检测
12
Join优化策略
Broadcast Join · Sort-Merge Join · Runtime Filter
Join优化策略
13
查询优化器
CBO · 统计信息收集 · 执行计划分析
查询优化器CBO
14
索引与缓存
数据缓存 · 结果缓存 · 物化视图
索引缓存
15
存储格式深度
Parquet · ORC · Avro对比及列式存储优化
存储格式深度Parquet
16
压缩算法选择
Snappy · Zstd · LZ4等压缩比与解压速度权衡
压缩算法选择Snappy
17
数据湖表格式
Delta Lake · Hudi · Iceberg的优化特性
数据湖表格式Delta
18
事务与并发控制
ACID · 乐观并发 · 时间旅行对性能的影响
事务并发控制
19
网络与I/O优化
数据本地性 · 网络拓扑 · I/O调度
I/O网络
20
资源管理与调度
YARN · Kubernetes · Mesos的配置与优化
资源管理调度
21
监控与诊断
指标采集 · 日志分析 · 性能瓶颈定位
监控诊断
22
调优工具使用
Spark UI · Flink Dashboard · Presto UI等
调优工具使用Spark
23
案例实战
电商数据分析场景的多引擎调优
案例实战电商数据分析场景…
24
案例实战
实时数仓场景的Flink与Icebe…
案例实战Flink
25
案例实战
交互式查询场景的Presto与Hud…
案例实战Presto
26
常见问题与解决
OOM · 数据倾斜 · 小文件问题等
常见问题解决
27
性能测试与基准
TPC-DS · TPC-H测试实践
性能测试基准
28
自动化调优
基于机器学习的参数调优 · 自适应查询执行
自动化调优基于机器学习的参…
29
全局调优策略
跨引擎协同优化 · 数据生命周期管理
全局调优策略跨引擎协同优化
30
综合实战与总结
端到端性能优化项目 · 课程回顾与进阶路径
综合实战端到端性能优化项…