VIP20
本课程属于：023-数据湖仓一体：Delta Lake、Apache Iceberg与Apache Hudi AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Iceberg快照过期与孤儿文件治理

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 核心概念 · 整体框架
课程导入学习目标
02
Iceberg表格式基础
表元数据 · 快照 · Manifest文件
Iceberg表格式基础
03
快照与时间旅行
快照概念 · 时间旅行查询 · 快照生命周期
快照时间旅行
04
快照过期机制
过期定义 · 保留策略 · 过期流程
快照过期机制过期定义
05
快照过期配置
write.snapshot-exp… · commit.retry等参数
快照过期配置write.snapsh…
06
快照过期操作
使用expireSnapshots… · Spark/Flink集成
快照过期操作expireSnapsh…
07
快照过期实践
定期清理策略 · 保留最近N个快照
快照过期实践定期清理策略
08
孤儿文件定义
产生原因 · 影响
孤儿文件定义产生原因
09
孤儿文件检测
使用RemoveOrphanFile… · Spark/Flink集成
孤儿文件检测RemoveOrphan…
10
孤儿文件清理
删除策略 · 安全注意事项
孤儿文件清理删除策略
11
清理工具对比
expireSnapshots vs…
清理工具对比expireSnapsh…
12
自动化治理
使用Airflow调度清理任务
自动化治理Airflow
13
监控与告警
跟踪快照数量 · 孤儿文件数量
监控告警
14
性能优化
清理对查询性能的影响
性能优化清理对查询性能的…
15
数据恢复与备份
清理前的备份策略
数据恢复备份
16
案例实战
电商订单表快照过期与孤儿文件清理
案例实战电商订单表快照过…
17
案例实战
日志分析表治理
案例实战日志分析表治理
18
常见问题
清理失败 · 锁冲突 · 并发问题
常见问题清理失败
19
常见问题
误删数据恢复 · 清理不彻底
常见问题误删数据恢复
20
最佳实践
治理策略制定 · 执行频率
最佳实践治理策略制定
21
与数据湖生态集成
Hive · Spark · Flink
数据湖生态集成Hive
22
与云存储集成
S3 · OSS · ADLS的清理注意事项
云存储集成S3
23
安全与权限
清理操作所需的权限管理
安全权限
24
成本优化
通过治理降低存储成本
成本优化通过治理降低存储…
25
治理效果评估
指标定义 · 效果分析
治理效果评估指标定义
26
进阶
使用Iceberg REST Cat…
进阶Iceberg
27
进阶
自定义清理策略开发
进阶自定义清理策略开…
28
综合实战
构建完整的数据湖治理流水线
综合实战构建完整的数据湖…
29
课程总结
关键知识点回顾 · 常见误区
课程总结关键知识点回顾
30
考核与练习
模拟场景 · 动手实验
考核练习