VIP20

本课程属于：002-数据湖仓平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Iceberg、Hudi与Delta表格式选型及应用

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据湖仓概述

数据湖与数据仓库的演进、湖仓一体架构的诞生背景、核心优势与挑战。

Apache Iceberg 核心概念

表格式定义、快照（Snapshot）、清单（Manifest）、数据文件（Data File）。

Iceberg 表结构详解

Schema 演进、分区（Partitioning）与隐藏分区、排序（Sort Order）。

Iceberg 写入与读取

ACID 事务保证、并发控制（乐观锁）、时间旅行（Time Travel）查询。

ACID时间旅行

Iceberg 表维护

快照过期（Snapshot Expiry）、小文件合并（Compaction）、元数据清理。

Apache Hudi 核心概念

表类型（Copy on Write vs Merge on Read）、索引机制（Bloom Filter、HBase Index）。

表类型索引

Hudi 写入模式

UPSERT、INSERT、BULK_INSERT 的区别与适用场景。

Hudi 查询类型

快照查询（Snapshot Query）、增量查询（Incremental Query）、读优化查询（Read Optimized Query）。

Clustering（数据聚类）、Compaction（合并）、Cleaner（清理）。

Delta Lake 核心概念

事务日志（Transaction Log）、Delta 文件、Checkpoint。

事务日志检查点

Delta Lake 表结构

Schema 强制与演进、分区修剪（Partition Pruning）、Z-Order 优化。

Delta Lake 写入与读取

ACID 事务、并发控制（可序列化隔离）、Change Data Feed（CDF）。

Delta Lake 表维护

Vacuum（清理）、Optimize（优化）、FSCK Repair。

三大表格式对比

Iceberg vs Hudi vs Delta Lake 的架构、性能、生态对比。

表格式与计算引擎集成

Spark、Flink、Trino、Presto 的集成方式与最佳实践。

SparkFlinkTrino

表格式与存储系统

HDFS、S3、ADLS、GCS 上的部署与优化。

对象存储HDFS

表格式的 Catalog 管理

Hive Metastore、AWS Glue、自定义 Catalog 实现。

表格式的 Schema 变更

列添加、列删除、列重命名、类型变更的兼容性。

表格式的增量处理

流式写入、CDC（Change Data Capture）集成、实时数仓构建。

表格式的数据治理

血缘追踪、数据质量、审计日志。

表格式的权限控制

基于 Catalog 的 RBAC、列级权限、行级过滤。

表格式的跨云/混合云方案

数据复制、灾难恢复、异地多活。

表格式的性能调优

文件大小优化、分区策略、查询下推、缓存策略。

表格式的监控与告警

指标采集（文件数、事务延迟）、Prometheus/Grafana 集成。

表格式的版本升级

跨版本兼容性、滚动升级、回滚策略。

表格式的生态工具

Apache XTable（OneTable）、Delta Sharing、Iceberg REST Catalog。

表格式在数据湖仓中的实践案例

某电商实时数仓、某金融风控平台。

表格式的未来趋势

Serverless 湖仓、AI 辅助优化、统一表格式标准。

表格式的常见问题与排错

文件丢失、事务冲突、元数据不一致。

排错元数据

综合实战：湖仓分析平台

从零搭建一个基于 Iceberg + Spark + Trino 的湖仓分析平台。

实战IcebergTrino