VIP20
本课程属于：022-数据湖仓一体：Delta Lake、Apache Iceberg与Apache Hudi AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Iceberg元数据管理精讲

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · Iceberg元数据管理的重要性 · 整体课程框架
课程导入学习目标
02
Iceberg基础概念
表格式 · 元数据层 · 数据文件
Iceberg基础概念
03
元数据目录结构
Catalog · Namespace · Table的层次关系及元数据存储位置
元数据目录结构Catalog
04
元数据文件详解
Metadata文件 · Manifest List · Manifest文件的格式与作用
元数据文件详解Metadata
05
快照与时间旅行
快照的概念 · 创建与过期机制 · 时间旅行查询的实现
快照时间旅行
06
元数据版本管理
版本演进 · 回滚操作 · 并发控制与冲突解决
元数据版本管理版本演进
07
元数据存储后端
Hive Metastore · Hadoop Catalog · JDBC Catalog
元数据存储后端Hive
08
元数据初始化与加载
表创建时的元数据生成 · 表加载时的元数据读取流程
元数据初始化加载
09
元数据操作API
使用Java API进行元数据操作 · 如创建表 · 修改表
API元数据操作
10
元数据查询与统计
通过元数据获取表统计信息 · 分区信息 · 文件信息
元数据查询统计
11
元数据与数据文件的关系
如何通过元数据定位数据文件 · 数据文件的生命周期管理
元数据数据文件的关系
12
元数据清理与维护
孤儿文件清理 · 过期快照清理 · 元数据压缩
元数据清理维护
13
元数据性能优化
元数据缓存 · 预取 · 并行处理等优化策略
元数据性能优化元数据缓存
14
元数据安全与权限
基于元数据的访问控制 · 敏感信息保护
元数据安全权限
15
元数据监控与审计
监控元数据变更 · 审计日志记录
元数据监控审计
16
元数据备份与恢复
备份策略 · 恢复流程 · 灾难恢复
元数据备份恢复
17
元数据迁移
跨Catalog迁移 · 跨集群迁移 · 版本升级迁移
元数据迁移Catalog
18
元数据与数据湖生态集成
与Spark · Flink · Trino等引擎的元数据交互
元数据数据湖生态集成
19
元数据与数据治理
数据血缘 · 数据质量 · 数据目录集成
元数据数据治理
20
元数据管理最佳实践
常见问题 · 设计模式 · 经验总结
元数据管理最佳实…常见问题
21
案例实战
使用Iceberg元数据管理实现数据…
案例实战Iceberg
22
案例实战
基于元数据实现增量读取与实时数据处理
案例实战基于元数据实现增…
23
案例实战
元数据驱动的数据分区策略优化
案例实战元数据驱动的数据…
24
案例实战
大规模数据场景下的元数据管理挑战与解…
案例实战大规模数据场景下…
25
常见问题与解决方案
元数据不一致 · 性能瓶颈 · 版本冲突等
常见问题解决方案
26
综合提升
设计一个完整的元数据管理方案 · 涵盖存储 · 处理
综合提升设计一个完整的元…
27
综合提升
元数据管理自动化与智能化探索
综合提升元数据管理自动化
28
综合提升
元数据管理在数据中台中的应用
综合提升元数据管理
29
综合提升
元数据管理未来趋势与新技术
综合提升元数据管理未来趋…
30
课程总结
核心要点回顾 · 学习路径建议 · 实践资源推荐
课程总结核心要点回顾