VIP20

本课程属于：020-实时指标平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Iceberg与Flink集成实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Iceberg前世今生

为什么需要数据湖？从Hive到Iceberg的演进之路，Iceberg核心设计理念。

数据湖演进

Flink 1.17 + Iceberg 1.5 + Hadoop 3.3 + MinIO 本地集群搭建。

Iceberg表结构

Catalog、Namespace、Table三层架构，元数据文件详解。

架构元数据

Flink SQL创建Iceberg表

CREATE TABLE语法、分区策略、主键定义。

Flink SQL写入Iceberg

INSERT INTO、UPSERT模式、小文件合并策略。

Flink SQL读取Iceberg

SELECT查询、时间旅行、增量读取。

查询时间旅行

Flink DataStream API写入

StreamingFileSink与IcebergStreamWriter对比。

Flink DataStream API读取

IcebergSource原理与配置。

CDC入湖实战

MySQL CDC -> Kafka -> Iceberg 实时同步链路搭建。

Iceberg分区变换（Identity、Bucket、Truncate、Year/Month/Day）。

snapshot原理、expireSnapshots清理策略、rollback回滚。

compact小文件合并、rewriteManifest重写清单、removeOrphanFiles清理孤儿文件。

ADD/DROP/RENAME/ALTER COLUMN，Flink SQL与Iceberg Schema兼容性。

ALTER TABLE ADD/DROP PARTITION FIELD，分区策略动态变更。

排序与优化

Iceberg Sort Order、Z-Order优化、文件布局调优。

Flink批处理模式

batch模式读取Iceberg表，全量数据ETL场景。

Flink流处理模式

streaming模式读取Iceberg表，实时数仓场景。

流处理实时

Flink Checkpoint与Iceberg事务

两阶段提交协议、Exactly-Once语义保证。

事务Exactly-Once

多Catalog集成

HiveCatalog、HadoopCatalog、RESTCatalog对比与选型。

Iceberg与Hive集成

Hive外表读取Iceberg表，跨引擎查询。

Iceberg与Spark集成

Spark SQL读写Iceberg表，跨引擎数据共享。

Iceberg与Trino集成

Trino/Presto查询Iceberg表，OLAP场景。

Iceberg表级权限、列级权限、行级过滤（Row Filter）。

监控与告警

Iceberg Metrics、Flink Metrics、Prometheus + Grafana监控方案。

Flink并行度设置、Iceberg文件大小控制、数据倾斜处理。

Iceberg数据校验、数据完整性检查、异常数据修复。

Flink on YARN/K8s部署Iceberg作业，高可用配置。

常见错误（FileNotFoundException、CommitFailedException）排查指南。

千万级QPS实时入湖架构设计、存储成本优化、生命周期管理。

Iceberg 2.0新特性、Row-Level Delete、Merge Into、物化视图。

新特性展望