VIP20

本课程属于：016-Kafka数据流平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Iceberg与Kafka的无缝衔接

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

课程导学：为什么需要Iceberg + Kafka？

实时数仓的痛点与架构演进，从Lambda到Kappa，Iceberg如何补齐Kafka的持久化短板。

架构实时数仓

Kafka核心回顾

Topic、Partition、Producer、Consumer、Offset机制，夯实消息中间件基础。

消息队列基础

Iceberg核心概念

Table Format、Snapshot、Manifest、Metadata层，理解湖仓表格式的底层设计。

表格式元数据

Docker Compose搭建Kafka + MinIO + Spark + Iceberg环境，一键启动开发集群。

Docker环境搭建

Kafka Connect入门

Source与Sink概念，单机与分布式模式，连接器生态概览。

Iceberg Sink Connector安装与配置

从Confluent Hub下载与部署，配置详解与常见问题。

Connector配置

使用Kafka Connect将JSON数据写入Iceberg表，端到端验证数据链路。

Schema管理与演化

Avro与JSON Schema在Kafka与Iceberg间的映射，兼容性策略与演进。

Kafka消息分区 vs Iceberg分区，如何协同设计以提升查询与写入性能。

Exactly-Once语义

Kafka事务与Iceberg ACID事务的结合，实现端到端精确一次处理。

事务一致性

CDC场景实战

使用Debezium捕获MySQL变更，写入Iceberg，构建实时数据管道。

数据格式选型

Parquet、ORC、Avro在Iceberg中的对比与选择，压缩率与查询性能权衡。

文件格式性能

压缩与优化

Iceberg的Compaction机制与Kafka消息积压处理，平衡写入与存储成本。

实时流写入

使用Flink/Spark Streaming从Kafka消费写入Iceberg，低延迟入湖方案。

基于Iceberg的Batch与Streaming模式切换实践，统一批流架构。

批流一体架构

时间旅行与回溯

利用Iceberg Snapshot从Kafka指定Offset重放，实现数据回溯与修复。

时间旅行回溯

从Iceberg读取Kafka写入的增量数据，支持微批与近实时分析。

Iceberg的Tag、Branch与Kafka消息血缘追踪，提升数据可观测性。

监控与告警

Kafka Lag监控 + Iceberg表元数据监控，构建可观测体系。

Kafka Producer/Consumer参数与Iceberg写入参数调优，提升吞吐与稳定性。

一个Kafka Connect任务写入多个Iceberg表，路由与配置技巧。

错误处理与死信队列

Kafka Connect的DLQ配置与Iceberg异常数据隔离，保障管道健壮性。

安全与权限

Kafka ACL与Iceberg的RBAC集成方案，实现细粒度访问控制。

云原生部署

在Kubernetes上运行Kafka Connect与Iceberg，弹性伸缩与运维实践。

数据湖仓一体

Iceberg + Kafka + Trino/Presto的查询加速，湖仓分析最佳实践。

跨集群复制

基于MirrorMaker2与Iceberg的异地灾备方案，保障数据高可用。

Iceberg表文件生命周期管理与Kafka Topic数据保留策略，降低存储成本。

成本生命周期

实战案例1：用户行为日志实时入湖

从埋点到Iceberg，完整实现用户行为日志的实时采集与存储。

实战案例2：订单数据CDC实时入湖与OLAP分析

订单变更数据实时入湖，结合OLAP引擎进行业务分析。

课程总结与最佳实践

常见坑、设计模式与未来展望，沉淀可复用的架构经验。

总结最佳实践