VIP20
本课程属于：023-数据湖仓一体：Delta Lake、Apache Iceberg与Apache Hudi AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Apache Hudi表服务与Compaction调优

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程大纲 · Hudi在数据湖生态中的定位
课程导入学习目标
02
Hudi核心概念
表格式 · Copy-on-Write与Merg… · 时间线
Hudi核心概念
03
Hudi表服务概览
Clustering · Compaction · Clean
Hudi表服务概览
04
Compaction原理
MOR表数据写入与读取路径 · Compaction的必要性 · Compaction策略（Inlin…
Compaction原理
05
Compaction流程详解
Compaction计划生成 · 执行 · 提交
Compaction流程详解
06
Compaction调优参数
内存配置 · 并行度 · IO优化
Compaction调优参数
07
Compaction性能调优
如何通过调整参数提升Compacti… · 减少对查询的影响
Compaction性能调优
08
Compaction策略选择
根据工作负载选择Inline或Asy… · 以及如何配置
Compaction策略选择
09
Compaction监控与诊断
如何监控Compaction进度 · 识别瓶颈 · 处理失败
Compaction监控
10
Clustering原理
数据布局优化 · 小文件合并 · Clustering与Compact…
Clustering原理
11
Clustering调优
Clustering策略（如Sort · Partition） · 触发条件
Clustering调优
12
Clean服务
清理旧版本文件 · 保留策略 · Clean与Compaction的协…
Clean服务
13
Archive服务
归档时间线 · 减少元数据开销 · 配置与调优
Archive服务
14
Indexing服务
Hudi索引类型（HBase · Bloom · Simple）
Indexing服务
15
表服务调度
如何配置表服务执行频率 · 并发控制 · 与Spark/Flink集成
表服务调度如何配置表服务执…
16
案例实战
使用Spark SQL或DeltaS…
案例实战Spark
17
案例实战
使用Flink执行Compactio…
案例实战Flink
18
案例实战
处理Compaction失败与数据一…
案例实战Compaction
19
常见问题
Compaction延迟 · 资源争抢 · 数据倾斜等问题的排查与解决
常见问题Compaction
20
常见问题
小文件过多 · 元数据膨胀 · 查询性能下降的优化方法
常见问题小文件过多
21
综合调优
结合业务场景设计表服务调优方案
综合调优结合业务场景设计…
22
综合提升
Hudi与Spark/Flink集成…
综合提升Hudi
23
综合提升
Hudi在数据湖架构中的高级应用与未…
综合提升Hudi
24
实战项目
构建一个端到端的Hudi数据管道 · 包含Compaction调优
实战项目Hudi
25
实战项目
对比不同Compaction策略对查…
实战项目Compaction
26
实战项目
实现自定义Compaction触发策…
实战项目Compaction
27
性能基准测试
如何设计测试用例评估Compacti…
性能基准测试Compacti
28
调优工具
使用Grafana · Prometheus等监控Hudi表…
调优工具Grafana
29
调优案例
某电商实时数仓的Compaction…
调优案例Compaction
30
课程总结
核心要点回顾 · 学习路径建议 · 进一步学习资源
课程总结核心要点回顾