VIP20
本课程属于：017-Flink实时计算 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Iceberg实时写入与Flink集成实战

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导学与前置准备
Iceberg是什么？为什么需要实时写入？Flink与Iceberg的生态关系。
导学概念
02
环境搭建
Flink集群部署、Hadoop依赖、Iceberg Catalog配置（Hive / Hadoop / REST）。
部署Catalog
03
Flink SQL基础回顾
Table & SQL API、动态表概念、CDC与Changelog Stream。
SQL动态表
04
Iceberg表格式核心概念
Snapshot、Manifest、Data File、分区与排序。
表格式核心
05
Flink写入Iceberg的第一条数据
Streaming Sink、File Format（Parquet/ORC/Avro）。
写入格式
06
Flink SQL写入Iceberg实战
CREATE TABLE AS、INSERT INTO、UPSERT模式。
SQLUPSERT
07
Flink DataStream写入Iceberg
使用DataStream API构造GenericRecord写入。
DataStreamAPI
08
实时流写入的Exactly-Once语义
两阶段提交（2PC）与Checkpoint机制。
Exactly-Once2PC
09
分区写入策略
动态分区、静态分区、分区裁剪与文件布局优化。
分区优化
10
小文件问题与Compaction
Flink自动Compaction、手动触发、Rewrite Data Files。
小文件合并
11
实时读取Iceberg表
Flink SQL批读、流读（Streaming Read）、MonitorInterval。
读取流读
12
增量读取与CDC同步
从Snapshot读取增量数据、Changelog View。
增量CDC
13
Schema Evolution
添加列、删除列、重命名列、类型变更。
Schema演化
14
Time Travel与版本管理
读取历史Snapshot、回滚操作、Expire Snapshots。
时间旅行版本
15
Flink写入Iceberg优化技巧
Write Distribution Mode、Fanout配置、Target File Size。
调优写入
16
实时数仓场景
ODS层实时入湖、DWD层流式ETL、DWS层聚合写入。
数仓分层
17
多表关联写入
Flink双流Join后写入Iceberg、Lookup Join与维表关联。
Join维表
18
CDC入湖实战
Debezium采集MySQL Binlog -> Kafka -> Flink -> Iceberg。
CDCBinlog
19
Watermark与Event Time
事件时间处理、乱序数据容忍。
Watermark事件时间
20
ACID特性在实时写入中的应用
并发写入冲突、乐观锁、Retry机制。
ACID乐观锁
21
Checkpoint与Iceberg事务集成
Checkpoint对齐、事务提交时机。
Checkpoint事务
22
监控与告警
Flink Metrics、Iceberg Metrics、文件数、Commit延迟。
监控Metrics
23
性能调优
并行度设置、Buffer Size、Flush Interval、Writer并发。
调优并行
24
REST Catalog集成
REST Catalog部署、认证、多租户。
REST认证
25
对象存储（S3/MinIO）写入
Hadoop兼容文件系统、Endpoint配置。
S3MinIO
26
Flink与Spark集成对比
Flink vs Spark写入性能、适用场景。
对比Spark
27
常见问题排查
Commit失败、文件丢失、数据重复、Schema不匹配。
排查故障
28
生产环境最佳实践
集群规划、资源隔离、版本选择、滚动升级。
生产最佳实践
29
实战项目一：用户行为日志实时入湖
Kafka -> Flink -> Iceberg 全链路实战。
项目日志
30
实战项目二：订单CDC实时入湖与OLAP查询
Binlog -> Kafka -> Flink -> Iceberg -> Trino。
项目CDCOLAP