VIP20

本课程属于：048-数据交换与API治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Iceberg表格式与数据共享实践

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Iceberg前世今生

从Hive到Iceberg的演进，为什么需要Iceberg，核心设计理念。

演进设计理念

表格式核心概念：快照与清单

快照(Snapshot)、清单(Manifest)、数据文件(Data File)、分区(Partition)详解。

快照清单分区

元数据层与ACID事务

元数据层(Metadata Layer)、表版本控制、ACID事务原理深入剖析。

元数据ACID版本控制

时间旅行与增量读取

时间旅行(Time Travel)、增量读取、行级更新与删除的实现机制。

时间旅行增量行级更新

隐藏分区与分区演化

隐藏分区(Hidden Partitioning)、分区演化(Partition Evolution)、排序与聚簇策略。

隐藏分区演化排序

Schema演化与列管理

Schema演化(Schema Evolution)、列级默认值、重命名与删除列操作。

Schema列默认值演化

Spark/Flink/Trino集成

Spark与Iceberg集成、Flink与Iceberg集成、Trino与Iceberg集成环境搭建。

SparkFlinkTrino

Hive/Glue/Nessie Catalog集成

Hive Metastore集成、AWS Glue Catalog集成、Nessie Catalog集成实践。

对象存储与文件系统配置

MinIO/S3对象存储配置、HDFS配置、本地文件系统配置详解。

创建表与分区表

创建表(CREATE TABLE)、创建分区表、创建带排序的表实战操作。

CREATE分区排序

插入与覆盖写入

插入数据(INSERT INTO)、覆盖写入(INSERT OVERWRITE)、动态覆盖操作。

INSERT覆盖动态

更新/删除/合并数据

更新数据(UPDATE)、删除数据(DELETE)、合并数据(MERGE INTO)实战。

UPDATEDELETEMERGE

历史快照与版本查询

查询历史快照(FOR SYSTEM_TIME AS OF)、查询指定版本(FOR SYSTEM_VERSION AS OF)。

快照版本时间旅行

增量查询与CDC消费

增量查询(Streaming Read)、CDC数据消费、变更数据捕获实现。

增量CDC流式

表维护与优化

表维护(OPTIMIZE)、清理过期快照(EXPIRE SNAPSHOTS)、重写数据文件(REWRITE DATA FILES)。

维护快照清理重写

元数据与表属性管理

元数据管理、表属性设置、表统计信息收集最佳实践。

元数据属性统计

数据共享概念与开放格式

数据共享的挑战、Iceberg的共享能力、开放格式的优势分析。

共享开放格式优势

REST Catalog与跨云共享

REST Catalog架构、跨集群共享、跨云共享方案。

REST跨集群跨云

权限模型与安全

权限模型、行级安全、列级掩码实现数据安全管控。

权限行级安全掩码

搭建REST Catalog服务

搭建REST Catalog服务、配置共享表、客户端访问实战。

REST共享表客户端

Polaris数据共享与多租户

使用Polaris(原Aiven)进行数据共享、多租户管理实践。

Polaris多租户共享

Nessie版本控制与共享

使用Nessie进行Git-like版本控制、分支与标签、时间旅行共享。

Nessie分支时间旅行

Dremio湖仓查询与反射

使用Dremio进行数据湖仓查询、虚拟数据集、反射加速。

Dremio虚拟数据集反射

Starburst联邦查询

使用Starburst(Trino)进行联邦查询、跨数据源联合分析。

Starburst联邦跨源

XTable格式互转

使用Apache XTable实现格式互转、Delta Lake与Hudi互操作。

XTableDeltaHudi

文件大小与写入优化

文件大小优化、目标文件大小配置、写入策略调优。

文件大小写入策略

分区裁剪与Z-order

分区裁剪优化、统计信息利用、Z-order排序提升查询性能。

分区裁剪统计Z-order

压缩与布隆过滤器

压缩策略选择、列式存储优化、布隆过滤器应用。

压缩列式布隆

监控与灾难恢复

监控与告警、备份与恢复、灾难恢复策略生产实践。

监控备份容灾

生产实践与调优案例

常见问题排查、性能调优案例、大规模集群部署经验分享。

排查调优大规模