VIP20

本课程属于：016-Kafka数据流平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Kafka对接Lakehouse架构设计

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

课程导学与架构总览

Lakehouse概念演进、Kafka在数据架构中的角色、课程目标与学习路径。

Kafka核心原理回顾

Topic与Partition机制、生产者与消费者模型、副本与ISR机制。

Lakehouse存储基石

Delta Lake/Iceberg/Hudi核心特性对比、ACID事务原理、时间旅行与Schema Evolution。

Lakehouse存储

Kafka Connect深度解析

Source与Sink Connector架构、REST API管理、单机与分布式模式。

Kafka Connect S3 Sink实战

配置详解、分区策略、文件格式选择（Parquet/ORC/Avro）。

Kafka Connect JDBC Sink实战

关系型数据库同步、Exactly-Once语义保证、性能调优。

Kafka Connect 自定义Connector开发

插件开发流程、Converter与Transformation、生产部署。

开发自定义

Kafka Streams入门

Streams DSL与Processor API、状态存储与窗口操作、Exactly-Once语义。

Streams流处理

Kafka Streams与Lakehouse集成

将Streams结果写入Delta/Iceberg表、流表对账与数据一致性。

集成一致性

流式SQL处理、持续查询、与Lakehouse的联合查询。

Apache Flink + Kafka + Lakehouse

Flink CDC入湖、Flink SQL与Kafka表、Checkpoint与状态后端。

Spark Structured Streaming + Kafka

Micro-Batch与Continuous模式、Trigger配置、水印与延迟数据处理。

Spark Streaming写入Lakehouse

Delta Lake Merge操作、Iceberg Compaction、Hudi Clustering。

数据入湖的Exactly-Once语义

幂等写入、事务性提交、两阶段提交协议在Kafka与Lakehouse中的应用。

Exactly-Once事务

Schema Registry与数据治理

Avro/Protobuf/JSON Schema注册、兼容性检查、Schema演进策略。

Kafka消息格式转换与ETL

消息反序列化、字段映射、数据清洗与标准化。

实时数据湖的CDC方案

Debezium + Kafka + Lakehouse、增量快照、DDL变更处理。

Kafka与Iceberg集成

Iceberg Kafka Sink、Flink Iceberg Connector、Catalog与元数据管理。

Kafka与Delta Lake集成

Delta Sharing、Delta Kernel、Change Data Feed与实时增量。

Kafka与Hudi集成

Hudi DeltaStreamer、Hive Sync、MOR与COW表类型选择。

大规模Kafka集群运维

分区重分配、日志清理策略、监控指标（JMX/Prometheus）。

Lakehouse性能优化

文件布局优化、Z-Order排序、数据跳过与分区裁剪。

端到端延迟优化

Kafka生产端与消费端调优、批处理大小、压缩算法选择。

数据质量与监控

Kafka消息质量检测、Lakehouse数据校验、异常告警与重试机制。

安全与权限控制

Kafka SSL/SASL认证、Lakehouse数据加密、RBAC与列级权限。

多租户架构设计

Kafka Topic隔离、Lakehouse命名空间管理、资源配额与限流。

多租户隔离

混合云与边缘场景

Kafka跨集群复制、Lakehouse联邦查询、边缘数据回传。

混合云边缘

实战案例一：实时用户行为分析平台

埋点数据 -> Kafka -> Flink -> Iceberg -> 报表。

实战用户行为

实战案例二：金融级实时风控系统

交易流水 -> Kafka -> Spark Streaming -> Delta Lake -> 特征工程。

课程总结与未来展望

Kafka + Lakehouse最佳实践总结、数据网格与数据产品趋势、学习资源推荐。