VIP20

本课程属于：003-实时流处理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Kafka Streams与Flink项目选型及迁移

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

流处理概述

流处理概念、批处理与流处理对比、实时计算应用场景。

Kafka Streams入门

Kafka Streams简介、核心概念（拓扑、处理器、状态存储）、环境搭建与Hello World。

Flink简介、核心概念（DataStream、算子、状态、Checkpoint）、环境搭建与WordCount。

入门DataStream

编程模型对比

Kafka Streams的声明式DSL vs Flink的DataStream API、编程范式差异。

状态管理对比

Kafka Streams本地状态存储 vs Flink的分布式状态后端、状态一致性语义。

状态一致性

时间语义对比

Kafka Streams的事件时间与处理时间 vs Flink的事件时间、处理时间与摄入时间。

时间语义事件时间

窗口操作对比

Kafka Streams的窗口类型 vs Flink的窗口类型、窗口分配器与触发器。

窗口触发器

连接操作对比

Kafka Streams的KStream-KStream Join vs Flink的Interval Join与Window Join。

容错机制对比

Kafka Streams的基于Kafka日志的容错 vs Flink的Checkpoint与Savepoint。

容错Checkpoint

部署与运维对比

Kafka Streams作为应用库 vs Flink作为独立集群、资源管理与监控。

背压机制对比

Kafka Streams的基于Kafka消费背压 vs Flink的基于Credit的分布式背压。

数据源与数据汇对比

Kafka Streams的Kafka专属 vs Flink的多源多汇（Kafka、JDBC、HDFS等）。

复杂事件处理（CEP）对比

Flink CEP库 vs Kafka Streams的Process API实现模式匹配。

CEP模式匹配

Table API与SQL对比

Flink Table API & SQL vs Kafka Streams的KSQL（现为KSQLDB）。

性能基准对比

吞吐量、延迟、资源消耗的典型场景对比分析。

生态集成对比

Kafka Streams与Kafka Connect、Schema Registry vs Flink与Hadoop、Hive、Iceberg。

实战案例一：实时ETL

使用Kafka Streams实现数据清洗与转换。

实战案例一续：实时ETL

使用Flink实现相同的数据清洗与转换任务。

实战案例二：实时聚合

使用Kafka Streams计算网站PV/UV。

实战案例二续：实时聚合

使用Flink计算网站PV/UV，对比实现差异。

实战案例三：实时双流Join

使用Kafka Streams关联订单流与支付流。

双流Join订单

实战案例三续：实时双流Join

使用Flink关联订单流与支付流，对比Join语义。

双流Join语义

实战案例四：异常检测

使用Flink CEP检测交易欺诈模式。

CEP欺诈检测

实战案例四续：异常检测

使用Kafka Streams Process API实现相同的欺诈检测逻辑。

Process API欺诈

监控与告警

Kafka Streams的JMX指标与Kafka监控 vs Flink的Web UI与Metrics系统。

升级与迁移

从Kafka Streams迁移到Flink的注意事项与策略。

升级与迁移续

从Flink迁移到Kafka Streams的注意事项与策略。

选型决策指南

技术选型维度（团队技能、基础设施、延迟要求、吞吐量需求）。

流计算与数据湖的融合、Kafka与Flink的社区发展方向。

趋势数据湖

课程总结与回顾

核心知识点梳理、最佳实践总结、推荐学习路径。