课程导入：学习目标、课程大纲与Hudi在数据湖生态中的定位

1.1 为什么需要理解写时复制与读时合并

Apache Hudi 作为数据湖领域的重要组件，其核心价值在于为存储在廉价对象存储（如 S3、OSS）上的大规模数据提供流式增量处理能力。传统数据湖（如 Hive 表）只能支持批量全量覆盖，而 Hudi 通过两种核心表类型——写时复制（Copy on Write，COW）与读时合并（Merge on Read，MOR）——在数据写入与查询读取之间做出精细权衡。理解这两种机制，是掌握 Hudi 数据管理、增量消费、时间旅行等高级特性的前提。

本课程将深入剖析 COW 与 MOR 的底层文件布局、索引机制、写入路径与查询路径，帮助你建立对 Hudi 存储模型的系统性认知。无论你是数据平台工程师、数据仓库架构师，还是正在评估数据湖方案的开发者，这门课程都将为你提供从原理到实战的完整知识链。

1.2 学习目标

完成本章及后续课程后，你将能够：

• 描述 Hudi 在数据湖生态中的定位：明确 Hudi 与 Delta Lake、Iceberg 的共性与差异，理解其“流批一体”的设计哲学。
• 对比 COW 与 MOR 的存储模型：从文件组织、更新方式、查询性能、实时性等维度进行权衡分析。
• 解释 COW 的写放大与读优化：理解为何 COW 适合读多写少场景，以及其文件版本切换机制。
• 剖析 MOR 的 Base 文件与 Log 文件协同：掌握 Log 文件的追加写入、异步压缩（Compaction）以及查询时的合并策略。
• 通过实操案例验证原理：使用 Spark 或 Flink 写入 Hudi 表，观察文件变化与查询结果。

1.3 课程大纲总览

本课程共分为 30 个章节，按“基础认知 → 原理深潜 → 实践操作 → 调优排障”四个阶段递进。下表展示了核心模块与章节分布：

其中，第 6-10 章将重点拆解 COW 与 MOR 的存储细节，包括文件切片（File Slice）、数据块（Data Block）、删除标记（Delete Marker）等关键概念。第 11-15 章则聚焦于压缩策略与索引演进，帮助你理解 Hudi 如何在大数据量下保持高效更新。

1.4 Hudi 在数据湖生态中的定位

数据湖架构的演进经历了从“集中式存储”到“开放式表格格式”的转变。Hudi、Delta Lake、Iceberg 并称为三大开源数据湖表格式，它们都解决了 Hive 表无法支持原子性事务与高效增量读取的问题。但 Hudi 的差异化优势体现在以下三点：

1. 面向流式数据摄入：Hudi 原生支持基于事件时间的 upsert（更新插入），并提供了高效的索引机制（如布隆过滤器、HBase 索引），使得秒级延迟的数据写入成为可能。
2. MOR 表类型的独特设计：Iceberg 主要依赖 Copy-on-Write 实现更新，而 Hudi 的 MOR 允许将更新以 Append 方式追加到 Log 文件，显著降低了写放大，更适合频繁更新且对查询延迟不极敏感的场景。
3. 与数据仓库生态的深度集成：Hudi 提供了 Hive Sync、Spark SQL 扩展、Flink 连接器等，可以无缝对接现有数仓工具链。

下图展示了 Hudi 在数据湖技术栈中的位置，以及它与上下游组件的关系：

从上图可以看出，Hudi 处于数据接入与数据服务的中间层。它向上承接多种数据源的写入请求，向下将数据组织为可高效查询的文件集合。COW 与 MOR 两种表类型决定了数据在存储层以何种物理形态存在，进而影响查询引擎的扫描效率与数据新鲜度。

1.5 典型应用场景与选型误区

为了帮助你建立直观认知，我们列举两个典型场景：

1.6 本章小结与学习路径