VIP20

本课程属于：050-多云数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Iceberg Lakehouse架构与数据管理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据架构演进

从数据仓库到数据湖再到Lakehouse的演变历程，为什么需要Iceberg。

Apache Iceberg核心概念

表格式、快照、清单与分区——理解Iceberg的基石。

表格式快照

Iceberg表结构详解

元数据层、数据文件层、Manifest List与Manifest File的关系。

元数据清单

Iceberg核心特性

ACID事务、时间旅行、Schema演化、分区演化。

ACID时间旅行

Iceberg与Hive表格式对比

性能、事务支持、并发控制、数据管理的差异。

Lakehouse架构设计

计算与存储分离、统一元数据层、开放格式选型。

架构存算分离

Spark集成Iceberg

Spark SQL读写Iceberg表、Catalog配置、Session配置。

Flink集成Iceberg

Flink SQL实时写入、流式读取、Exactly-Once语义。

Trino/Presto查询Iceberg

联邦查询、跨数据源分析、性能调优。

Iceberg表操作实战

CREATE TABLE、INSERT、UPDATE、DELETE、MERGE INTO。

Iceberg分区策略

隐藏分区、分区转换、分区裁剪优化。

分区隐藏分区

Iceberg排序与文件布局

Z-Order排序、文件大小控制、Compaction策略。

排序文件布局

Iceberg快照管理

快照过期、保留策略、Rollback操作。

Iceberg时间旅行实战

查询历史快照、数据回溯、审计场景应用。

时间旅行审计

Iceberg Schema演化

添加列、删除列、重命名列、类型变更兼容性。

Iceberg并发控制

乐观锁、CAS、多写入者冲突解决。

并发乐观锁

Iceberg与AWS S3集成

S3存储后端、权限配置、性能优化。

Iceberg与阿里云OSS集成

OSS配置、Endpoint设置、与Spark/Flink适配。

Iceberg与HDFS集成

HDFS配置、高可用、数据本地性优化。

Iceberg Catalog详解

Hive Catalog、Hadoop Catalog、REST Catalog、JDBC Catalog。

Catalog元数据

Iceberg REST Catalog实战

搭建REST服务、多引擎统一元数据管理。

REST统一管理

Iceberg数据治理

数据质量检查、数据血缘追踪、生命周期管理。

Iceberg增量处理

增量读取、CDC数据入湖、流批一体。

Iceberg性能调优

文件大小优化、并行度、谓词下推、向量化读取。

Iceberg与Delta Lake对比

架构差异、功能对比、性能基准测试。

Iceberg多引擎协同

Spark写入+Flink读取、Trino查询+Spark ETL。

协同多引擎

Iceberg安全与权限

Ranger集成、列级权限、行级过滤。

Iceberg监控与运维

Metrics收集、慢查询诊断、元数据膨胀处理。

Iceberg大规模生产实践

千级分区表管理、PB级数据入湖、跨集群复制。

大规模生产

Lakehouse+Iceberg综合案例

构建实时数仓、数据湖分析平台、AI特征工程。

综合案例实时数仓