VIP20

本课程属于：032-数据网格架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Iceberg实现领域数据存储

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Iceberg 前世今生

数据湖演进脉络，Iceberg 诞生背景与核心设计理念，从 Hive 困境到开放表格式。

数据湖演进

Iceberg 表格式核心概念

快照、Manifest 文件、Manifest List、元数据层，理解 Iceberg 的层次化存储结构。

快照元数据

Iceberg 与 Hive 表对比

ACID 事务、时间旅行、Schema 演化、分区演化，彻底摆脱 Hive 的局限性。

ACID时间旅行

Iceberg 核心能力详解

隐藏分区、行级更新、增量读取、文件级并发控制，企业级数据湖关键特性。

隐藏分区增量

Iceberg 表类型

Catalogs（Hive、Hadoop、REST、JDBC）及表格式版本选择，灵活对接不同元数据服务。

Spark 集成 Iceberg

Spark 3.x 配置、创建表、读写数据、SQL 扩展，快速上手大数据分析。

Flink 集成 Iceberg

Flink 1.14+ 配置、流式写入、批式读取、CDC 入湖，实时入湖最佳实践。

Trino/Presto 集成 Iceberg

查询加速、统计信息、动态过滤，极速交互式查询体验。

Iceberg 表操作实战

CREATE TABLE、ALTER TABLE、DROP TABLE、TRUNCATE，标准 DDL 与 Iceberg 扩展。

Iceberg 数据写入

Append、Overwrite、Copy-On-Write、Merge-On-Read，不同写入模式与场景。

写入Merge-On-Read

Iceberg 数据读取

快照读取、增量读取、Time Travel 查询，灵活访问任意历史版本。

Time Travel增量

Iceberg 数据更新与删除

行级 DELETE、UPDATE、MERGE INTO，支持完整 DML 操作。

Iceberg 分区策略

隐藏分区、分区转换函数（year、month、day、hour、bucket、truncate），自动分区管理。

隐藏分区转换

Iceberg Schema 演化

添加列、删除列、重命名列、改变列类型、重新排序，无痛演进。

Iceberg 分区演化

分区变更、分区布局优化、历史数据兼容，灵活调整分区策略。

分区演化兼容

Iceberg 排序与优化

Z-order 排序、文件大小优化、Compaction 策略，提升查询性能。

Z-orderCompaction

Iceberg 表维护

Expire Snapshots、Remove Orphan Files、Rewrite Manifests，保持表健康。

维护快照过期

Iceberg 文件格式

Parquet、Avro、ORC 选择与对比，列式存储优势与压缩。

Iceberg 与 AWS S3

S3 兼容性、权限配置、存储优化，云上最佳实践。

Iceberg 与阿里云 OSS

OSS 集成、性能调优、内网加速，国内云环境适配。

Iceberg 与 HDFS

HDFS 部署、高可用配置、数据本地性，传统 Hadoop 集成。

多引擎并发写入

Spark + Flink 同时写入、冲突解决、隔离级别，保障数据一致性。

数据质量保障

约束（Constraint）、检查约束、数据校验，提升湖内数据质量。

安全与权限

Ranger 集成、列级权限、行级过滤，细粒度安全管控。

监控与告警

Metrics 收集、Prometheus + Grafana 集成、慢查询分析，可观测性。

数据湖架构设计

Lakehouse 架构、Bronze/Silver/Gold 分层、数据生命周期管理。

Lakehouse分层

实时数仓案例

Flink CDC 入 Iceberg、分钟级 OLAP 查询，实时数仓落地。

实时数仓CDC

批流一体案例

Spark 批处理 + Flink 流处理统一存储，批流融合实践。

批流一体统一存储

大规模集群调优

文件数控制、内存配置、并行度调优、GC 优化，生产级调优。

Iceberg 未来展望

Iceberg 2.0 特性、Row-level Delta、社区路线图、与 Delta Lake 对比。