课程导入：学习目标、核心概念、整体框架

欢迎来到《Iceberg快照过期与孤儿文件治理》课程。在数据湖架构中，Apache Iceberg 凭借其强大的表格式管理能力，已成为众多企业构建湖仓一体平台的核心选型。然而，随着表的持续写入与更新，Iceberg 的元数据与底层存储会不可避免地积累“数据垃圾”——快照文件堆积、过期数据残留、孤儿文件散落。若放任不管，不仅会造成存储成本飙升，还会拖慢元数据操作性能，甚至引发数据文件与元数据不一致的严重事故。本课程将系统性地带你攻克这一运维治理难题。

一、学习目标：学完本课程你将能够

• 理解核心机制：透彻掌握 Iceberg 快照（Snapshot）的版本演进逻辑、快照过期（Expire Snapshots）的清理原理，以及孤儿文件（Orphan Files）的产生路径。
• 掌握治理方法：熟练使用 expire_snapshots、remove_orphan_files 等 Spark 过程或 API，制定合理的清理策略与执行计划。
• 规避潜在风险：识别清理过程中的常见误区（如误删正在读取的快照、清理与写入并发冲突），掌握安全治理的检查清单。
• 构建监控体系：设计针对快照数量、存储占用、孤儿文件比例的巡检指标，建立长效治理机制。

二、核心概念：快照、过期快照与孤儿文件

在深入治理操作之前，必须先厘清三个紧密关联却又截然不同的概念。下图直观展示了 Iceberg 表在一次更新后，元数据层与数据文件层的状态变化，以及“垃圾数据”的两种主要形态。

上图揭示了治理工作的本质：快照过期（Expire Snapshots） 负责删除那些已经不再被当前或保留期内快照引用的历史数据文件，从而释放存储空间；而 孤儿文件（Orphan Files） 则是指那些由于异常中断、手动删除元数据或写入失败等原因，遗留在数据目录中但未被任何快照清单（Manifest）记录的文件。两者都是存储与性能的“隐形杀手”，但清理策略与风险点截然不同。

三、整体框架：课程内容导航

本课程共分为五大模块，从原理认知到实战治理，层层递进，帮助你建立完整的知识体系。下表概括了各模块的核心主题与关键能力要求：

四、典型场景与治理误区

为了让你更直观地理解治理的重要性，我们来看一个真实场景：某互联网公司的用户行为日志表，每天通过流式任务写入 Iceberg，同时每小时执行一次 compaction（数据文件合并）。运行三个月后，该表的快照数量超过 5000 个，底层数据文件总量膨胀至原始数据的 8 倍。查询响应时间从平均 2 秒恶化到 15 秒，且 S3 存储成本每月增加 40%。经排查，根因正是从未执行过快照过期，导致每次查询都需要合并大量历史快照的元数据信息。

五、学习建议与预备知识

本课程适合具备以下基础的学习者：熟悉 Iceberg 基本表操作（如创建表、插入数据）、了解 Spark SQL 或 PySpark 的基本用法、对数据湖存储架构有一定认知。如果你对 Iceberg 的快照隔离机制尚不熟悉，建议先回顾“Iceberg 表格式入门”相关章节。课程中所有操作示例均基于 Iceberg 1.4+ 版本与 Spark 3.4 环境，但核心原理与 API 在不同版本间保持兼容。