VIP20
本课程属于：023-数据湖仓一体：Delta Lake、Apache Iceberg与Apache Hudi AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Iceberg Manifest文件组织与查询加速

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 核心概念 · 整体框架
课程导入学习目标
02
Iceberg表格式概述
表格式演进 · Iceberg核心特性 · Manifest在Iceberg中的…
Iceberg表格式概述
03
Manifest文件基础
Manifest文件定义 · ManifestList与Manif… · ManifestEntry结构
Manifest文件基础
04
Manifest文件组织
Manifest的存储布局 · 分区与排序 · Manifest的元数据管理
Manifest文件组织
05
Manifest的写入流程
数据写入如何生成Manifest · Manifest的合并与压缩策略
Manifest的写入流程
06
Manifest的读取流程
查询如何定位Manifest · Manifest的过滤与裁剪机制
Manifest的读取流程
07
Manifest的统计信息
列统计 · 分区统计 · Min/Max值在查询加速中的作用
Manifest的统计信息
08
Manifest的索引机制
Iceberg的索引类型 · Manifest与索引的协同
Manifest的索引机制
09
查询计划优化
基于Manifest的谓词下推 · 分区裁剪 · 文件裁剪
查询计划优化Manifest
10
数据跳过技术
Manifest如何实现数据跳过 · 减少扫描数据量
数据跳过技术Manifest
11
Manifest的合并与重写
小文件问题 · 合并策略 · 重写Manifest的时机
Manifest的合并
12
Manifest的压缩与清理
过期Manifest清理 · 快照隔离与垃圾回收
Manifest的压缩
13
Manifest的版本管理
快照与Manifest的关联 · 时间旅行查询
Manifest的版本管理
14
Manifest的并发控制
乐观锁 · 冲突检测与解决
Manifest的并发控制
15
Manifest的缓存机制
元数据缓存 · Manifest缓存对查询性能的影响
Manifest的缓存机制
16
Manifest的序列化与反序列化
Avro格式 · 压缩编码
Manifest的序列化
17
Manifest的演进与兼容性
Iceberg版本升级 · Manifest格式变更
Manifest的演进
18
Manifest与数据文件的关系
数据文件分组 · Manifest对数据文件的引用
Manifest数据文件的关系
19
Manifest在查询加速中的实战
使用Spark查询Iceberg表 · 观察Manifest的作用
Manifest查询加速
20
Manifest在查询加速中的实战
使用Flink查询Iceberg表 · 优化Manifest配置
Manifest查询加速
21
Manifest在查询加速中的实战
使用Presto/Trino查询Ic… · 调整Manifest相关参数
Manifest查询加速
22
Manifest性能调优
常见性能瓶颈 · Manifest大小与数量优化
Manifest性能调优
23
Manifest监控与诊断
查看Manifest统计信息 · 分析查询计划
Manifest监控
24
Manifest常见问题与解决方案
Manifest损坏 · 不一致 · 性能下降等
Manifest常见问题
25
Manifest与数据湖生态
与Hudi · Delta Lake的对比分析
Manifest数据湖生态
26
Manifest在数据湖架构中的最佳实践
设计模式 · 部署建议
Manifest数据湖架构
27
Manifest的进阶特性
Z-Order排序 · 布隆过滤器与Manifest的结合
Manifest的进阶特性
28
Manifest的扩展应用
在实时数仓 · 湖仓一体中的应用
Manifest的扩展应用
29
综合实战项目
构建一个基于Iceberg的查询加速… · 优化Manifest组织
综合实战项目Iceberg
30
课程总结与展望
回顾核心知识点 · 未来发展趋势 · 学习资源推荐
课程总结回顾核心知识点