01
Flink与Kafka集成概述
为什么需要集成Flink与Kafka？核心优势与典型应用场景，流处理基石。
集成动机场景
02
环境准备与依赖配置
版本兼容性、Maven/Gradle依赖、集群搭建要点，快速启动开发环境。
兼容性依赖
03
Kafka Consumer基础
核心参数、反序列化器、消费起始位置配置，精准控制数据摄入。
Consumer反序列化
04
Kafka Producer基础
核心参数、序列化器、分区策略，高效写入Kafka主题。
Producer分区
05
精确一次语义
端到端Exactly-Once实现原理、两阶段提交协议、事务机制深度解析。
Exactly-Once事务
06
动态Topic发现
Flink动态感知新增Topic和分区，配置参数与最佳实践。
动态发现分区
07
Watermark与Kafka集成
在Kafka Source中分配时间戳和Watermark，事件时间处理核心。
Watermark事件时间
08
多Topic消费模式
同时消费多个Topic、正则匹配、动态路由，灵活数据接入。
多Topic正则
09
Source并行度与分区关系
并行度设置、分区分配策略、数据倾斜处理，优化消费吞吐。
并行度倾斜
10
Sink并行度与分区关系
Sink并行度、分区器选择、Exactly-Once Sink配置，保证写入一致性。
Sink分区器
11
容错机制与Checkpoint
Checkpoint与Offset提交、故障恢复流程，保障作业稳定性。
容错Checkpoint
12
Offset提交策略
自动/手动提交、Checkpoint模式下Offset管理，避免数据重复/丢失。
Offset提交
13
Kafka Sink的事务机制
两阶段提交详解、事务超时、事务ID生成策略，精准一次语义落地。
事务两阶段
14
Source背压机制
Flink背压如何影响Kafka消费、动态限流策略，保持系统稳定。
背压限流
15
Sink背压处理
Sink端背压传递、缓冲区配置、异步写入优化，提升写入效率。
背压异步
16
序列化与反序列化
Avro/JSON/Protobuf方案对比、Schema Registry集成，数据治理。
AvroSchema
17
消息过滤与转换
Source端过滤无效消息、ProcessFunction数据清洗，提升数据质量。
过滤清洗
18
消息重试与死信队列
消费失败重试策略、死信队列实现方案，保证消息不丢失。
重试死信
19
消息延迟处理
基于事件时间的延迟处理、侧输出流实现延迟队列，灵活应对乱序。
延迟侧输出
20
消息顺序性保证
分区内顺序、全局顺序方案、性能权衡，满足严格排序需求。
顺序分区
21
Source监控与指标
Flink Web UI消费指标、自定义Metrics，实时掌握消费状态。
监控Metrics
22
Sink监控与指标
吞吐量、失败率、延迟监控，保障写入链路健康。
监控延迟
23
集群扩缩容影响
分区数变更、Broker节点变更、Flink动态感知，弹性适配。
扩缩容动态
24
安全集成
Kerberos认证、SSL加密、ACL权限控制，企业级安全实践。
KerberosSSL
25
Source并行读取优化
预取机制、批量拉取、缓冲区调优，最大化消费吞吐。
预取批量
26
Sink批量写入优化
批量提交、缓冲区大小、异步回调，提升写入性能。
批量异步
27
Exactly-Once实战
端到端Exactly-Once配置步骤、验证方法，生产级精准一次。
Exactly-Once实战
28
实时ETL实战
从Kafka读取、清洗转换、写入Kafka，完整ETL流水线。
ETL实时
29
实时数仓实战
多Topic关联、维表Join、分层写入Kafka，构建实时数仓。
数仓维表
30
性能调优实战
参数调优、资源分配、常见问题排查，全面优化集成性能。
调优排查