VIP20
本课程属于：022-数据湖仓一体：Delta Lake、Apache Iceberg与Apache Hudi AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Hudi写时复制与读时合并原理

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程大纲 · Hudi在数据湖生态中的定位
课程导入学习目标
02
Hudi基础概念
表类型（COW/MOR） · 索引机制 · 时间线（Timeline）与Inst…
Hudi基础概念
03
写时复制（COW）原理
写入流程 · 文件版本管理 · 数据文件与日志文件
COW写时复制
04
COW表文件结构
列式文件（Parquet）布局 · 文件组与文件切片
COW表文件结构
05
COW写入操作
插入 · 更新 · 删除（upsert/delete）的…
COW写入操作
06
COW读取路径
查询如何读取最新快照 · 合并过程
COW读取路径
07
COW的优缺点
写放大 · 读性能 · 适用场景
COW的优缺点
08
读时合并（MOR）原理
写入流程 · 日志文件（Avro）与基础文件
MOR读时合并
09
MOR表文件结构
基础文件与日志文件组合 · 文件组状态
MOR表文件结构
10
MOR写入操作
插入 · 更新 · 删除在日志中的记录方式
MOR写入操作
11
MOR读取路径
合并日志与基础文件 · 查询模式（读优化/快照）
MOR读取路径
12
MOR的Compaction机制
Compaction触发策略 · 执行流程 · I/O优化
MORCompaction
13
MOR的优缺点
写性能 · 读延迟 · 适用场景
MOR的优缺点
14
COW与MOR对比
写入放大 · 读取性能 · 实时性
COWMOR
15
Hudi索引机制
Bloom Index · HBase Index · 自定义索引
Hudi索引机制
16
Hudi表服务
Clustering · Compaction · Cleaner
Hudi表服务
17
COW/MOR配置参数
表类型选择 · 异步Compaction · 文件大小等关键配置
COW/MOR配置参数
18
COW/MOR实战案例
基于Spark/Flink写入COW… · 观察文件变化
COW/MOR实战案例
19
COW/MOR查询实战
使用Spark SQL/Hive查询… · 对比性能
COW/MOR查询实战
20
COW/MOR调优
写入调优 · 读取调优 · Compaction调优
COW/MOR调优
21
常见问题与解决方案
小文件问题 · 数据倾斜 · Compaction失败等
常见问题解决方案
22
COW/MOR与数据湖其他组件集成
与Hive · Presto/Trino · Spark集成
COW/MOR数据湖其他组件集…
23
COW/MOR在实时数仓中的应用
实时摄入 · 增量查询 · 近实时分析
COW/MOR实时数仓
24
COW/MOR的演进与未来
Hudi新特性 · 与Iceberg/Delta Lak…
COW/MOR的演进
25
综合实战项目
构建一个基于COW/MOR的实时数据… · 涵盖写入 · 查询
综合实战项目COW/MOR
26
课程总结
核心要点回顾 · 选型建议 · 学习路径延伸
课程总结核心要点回顾
27
附加
COW/MOR内部实现源码解析（可选…
附加COW/MOR
28
附加
COW/MOR性能基准测试方法
附加COW/MOR
29
附加
COW/MOR在云环境中的部署与优化
附加COW/MOR
30
附加
COW/MOR常见面试题解析
附加COW/MOR