首页
›
数据工程与实时数据平台
›
035-Flink状态管理
›
《Flink状态与Iceberg集成实战》
VIP20
本课程属于：035-Flink状态管理
数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录
咨询 / 购买
Flink状态与Iceberg集成实战
📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
第1章
课程导学与整体架构
俯瞰Flink状态与Iceberg集成的全景图，明确学习路径与技术栈定位，为后续实战打下坚实基础。
导学
架构
第2章
Flink状态后端原理与配置
深入剖析Memory、FsStateBackend与RocksDB状态后端的核心机制，掌握生产环境下的配置调优。
状态后端
原理
第3章
Flink Checkpoint与Savepoint机制
详解分布式快照的生成、存储与恢复流程，对比Checkpoint与Savepoint的适用场景与最佳实践。
容错
快照
第4章
Iceberg表格式与ACID特性
解读Iceberg的清单、快照与元数据层设计，理解ACID事务如何保障湖仓一体的一致性。
表格式
ACID
第5章
Flink-Iceberg集成环境搭建
从零搭建Flink与Iceberg的集成开发环境，涵盖依赖管理、Catalog配置及本地调试技巧。
环境
集成
第6章
Flink写入Iceberg表（Streaming Sink）
实现流式数据实时写入Iceberg表，掌握FileIO、Commit策略与并行度调优的核心参数。
写入
流式
第7章
Flink读取Iceberg表（Batch & Streaming Source）
支持批量与流式两种读取模式，解析Snapshot与Incremental读取的底层实现与适用场景。
读取
Source
第8章
基于Flink CDC的实时入湖
整合Flink CDC与Iceberg，构建MySQL/Kafka等数据源的实时入湖管道，保障数据一致性。
CDC
入湖
第9章
状态与Iceberg的Exactly-Once语义保证
深入Flink两阶段提交与Iceberg事务的协同机制，实现端到端的Exactly-Once语义。
Exactly-Once
事务
第10章
Flink状态快照与Iceberg快照的协同管理
设计状态快照与Iceberg快照的联合备份策略，实现统一的数据恢复与版本管理。
快照
协同
第11章
使用Flink进行Iceberg表的数据更新与删除
基于Merge-On-Read与Copy-On-Write模式，实现高效的更新删除操作，并分析其性能影响。
更新
删除
第12章
Iceberg的Compaction（小文件合并）与Flink
利用Flink作业自动合并Iceberg小文件，优化存储布局与查询性能，降低元数据压力。
Compaction
小文件
第13章
Flink状态大小优化与Iceberg写入性能调优
从状态后端调优、序列化效率与Iceberg写入参数三个维度，全面提升集成管线的吞吐与稳定性。
性能
调优
第14章
Flink SQL操作Iceberg表
通过Flink SQL直接创建、查询与写入Iceberg表，演示DDL/DML与动态表的无缝集成。
SQL
DDL
第15章
Flink DataStream API操作Iceberg表
使用DataStream API实现自定义的读写逻辑，灵活控制分区、格式与提交行为。
DataStream
API
第16章
Flink与Iceberg的Catalog集成（Hive、Hadoop、REST）
对比HiveCatalog、HadoopCatalog与RESTCatalog的架构差异，选择最适合生产环境的集成方案。
Catalog
集成
第17章
基于Iceberg的Flink状态恢复与容错
利用Iceberg快照作为状态恢复的可靠来源，构建跨集群、跨时间点的容错恢复方案。
容错
恢复
第18章
Flink状态与Iceberg的Schema Evolution
支持列添加、删除与类型变更的Schema演化，确保状态与Iceberg元数据的兼容性。
Schema
演化
第19章
Flink状态与Iceberg的分区策略
设计隐藏分区与转换分区策略，优化数据布局以加速查询剪枝与状态管理。
分区
策略
第20章
Flink状态与Iceberg的Time Travel（时间旅行）
利用Iceberg快照ID与时间戳实现历史数据回溯，结合Flink状态进行时间点分析。
Time Travel
回溯
第21章
Flink状态与Iceberg的Incremental Read（增量读取）
基于Iceberg的增量快照机制，实现仅读取变更数据的流式消费，降低延迟与计算成本。
增量
读取
第22章
Flink状态与Iceberg的批量回溯读取
结合Flink批处理能力与Iceberg快照，实现大规模历史数据的批量回溯与重放。
批量
回溯
第23章
Flink状态与Iceberg的流式写入优化（小文件控制）
通过调整Flink写入频率、文件大小阈值与Iceberg的Commit策略，有效控制小文件数量。
小文件
写入优化
第24章
Flink状态与Iceberg的并发写入控制
分析多Flink作业并发写入同一Iceberg表时的冲突处理与乐观锁机制。
并发
锁
第25章
Flink状态与Iceberg的元数据管理
统一管理Flink状态元数据与Iceberg表元数据，实现血缘追踪与版本审计。
元数据
管理
第26章
Flink状态与Iceberg的监控与告警
集成Prometheus、Grafana等监控工具，对状态大小、写入延迟与Iceberg Commit进行实时告警。
监控
告警
第27章
Flink状态与Iceberg的权限与安全
配置Flink与Iceberg的认证授权，保护状态数据与表数据的访问安全。
权限
安全
第28章
Flink状态与Iceberg的跨集群迁移
设计状态快照与Iceberg表数据的跨集群迁移方案，实现无缝切换与灾备。
迁移
跨集群
第29章
Flink状态与Iceberg的实战案例（实时数仓）
基于真实业务场景，构建端到端的实时数仓，涵盖ODS、DWD与DWS分层设计。
实战
数仓
第30章
课程总结与最佳实践
回顾核心知识点，提炼Flink状态与Iceberg集成的设计模式、常见陷阱与生产建议。
总结
最佳实践
所属VIP或分类
同VIP：Delta-Lake-状态存储新范式
同VIP：Flink状态管理从入门到实战
同VIP：RocksDB状态后端深度调优