VIP20
本课程属于：019-Lakehouse架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Hudi 增量查询性能调优

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
Hudi 增量查询概述
什么是增量查询、与快照查询的区别、适用场景分析
概念场景
02
核心概念
Instant Time、Commit Timeline、增量查询原理
原理时间线
03
环境准备
Hudi 版本选择、Spark/Flink 集成、依赖配置
集成配置
04
增量查询基础语法
Spark SQL 与 DataFrame API 两种方式
语法API
05
beginInstantTime 与 endInstantTime 参数详解
时间范围控制与增量边界
参数时间
06
增量查询的读取模式
INCREMENTAL vs SNAPSHOT 模式对比
模式对比
07
HoodieReadStorageConfig 配置项调优
存储配置参数深度优化
配置调优
08
文件索引优化
Bloom Filter 与 HFile 的选择策略
索引文件
09
数据布局策略
Clustering 对增量查询的影响
布局Clustering
10
小文件合并
为什么小文件会拖慢增量查询？
小文件合并
11
Compaction 策略
MOR 表的增量查询性能瓶颈
CompactionMOR
12
列式存储优化
Parquet 的谓词下推与向量化读取
Parquet向量化
13
分区裁剪
如何利用分区信息加速增量查询
分区裁剪
14
增量查询的并行度设置
spark.sql.shuffle.partitions 调优
并行度Shuffle
15
缓存策略
何时使用 Dataframe Cache 或 Persist
缓存Persist
16
增量查询与 CDC 结合
Change Data Capture 场景优化
CDC实时
17
时间旅行与增量查询
如何结合使用时间旅行
时间旅行快照
18
增量查询的监控与诊断
Hudi Metrics 与 Spark UI
监控诊断
19
常见性能问题排查
慢查询、OOM、数据倾斜
排查OOM
20
增量查询在实时数仓中的应用案例
实时数仓场景实践
案例实时数仓
21
增量查询在数据湖上的批流一体实践
批流一体架构与增量查询
批流一体数据湖
22
增量查询与 Presto/Trino 的集成调优
Presto/Trino 引擎适配
PrestoTrino
23
增量查询与 Flink 的集成调优
Flink 流批一体调优
Flink集成
24
增量查询的 Schema Evolution 处理
Schema 演进兼容性
Schema演进
25
增量查询的 ACID 事务保证与性能权衡
事务隔离级别与性能取舍
ACID事务
26
增量查询的跨集群同步场景优化
跨集群数据同步调优
跨集群同步
27
增量查询的冷热数据分层策略
冷热分层存储优化
冷热分层
28
增量查询的索引维护与清理策略
索引生命周期管理
索引清理
29
增量查询的未来演进
Hudi 0.14+ 新特性预览
新特性未来
30
综合实战：构建一个高性能增量查询管道
端到端管道构建与调优
实战管道