VIP10

本课程属于：037-Kafka与Flink金融实时数据工程 智能金融与金融工程 · 共 10 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Kafka与Flink Exactly-Once链路实战

共计 30 章节

可可资料掘金营 · 点击在线试看

目标=Exactly-Once 的业… · 学习目标 · 课程整体框架与实战链路概览

课程导入Exactly-Once

消息系统基础

目标=Kafka 核心概念 · Topic · Partition

消息系统基础Kafka

流处理基础

目标=Flink 核心概念 · DataStream · JobManager

流处理基础Flink

一致性语义入门

目标=At-Most-Once · At-Least-Once · Exactly-Once 的定义

一致性语义入门At-Most-Once

Kafka 消息可靠性

目标=acks · retries · 幂等生产者

Kafka消息可靠性

Kafka 消费位点管理

目标=自动提交 · 手动提交 · 同步提交

Kafka消费位点管理

Flink 状态管理

目标=Keyed State · Operator State · 状态后端

Flink状态管理

Flink Checkpoint 机制

目标=Barrier 对齐 · 异步快照 · Exactly-Once 状态恢复与…

FlinkCheckpoint

Kafka Source 一致性

目标=Flink Kafka Con… · Checkpoint 联动与故障恢复…

Kafka Sink 一致性

目标=Flink Kafka Pro… · 事务提交 · 两阶段提交与幂等写入

两阶段提交协议

目标=Flink 中 TwoPhas… · 生命周期与事务超时处理

两阶段提交协议Flink

端到端 Exactly-Once 链路

目标=Source · 状态计算 · Sink

Exactly-Once端到端

环境搭建实战

目标=Kafka 集群 · Flink 集群 · ZooKeeper 或 KRaft

环境搭建实战Kafka

基础链路实战

目标=Kafka 生产数据 · Flink 消费转换 · 结果写回 Kafka 并验证 At-…

基础链路实战Kafka

Exactly-Once 配置实战

目标=开启 Kafka 事务 · Flink Checkpoint · 精确一次语义与端到端参数配置

Exactly-Once配置实战

故障恢复实战

目标=模拟 TaskManager… · JobManager 失败 · Kafka Broker 重启与链路…

故障恢复实战TaskManager

重复数据场景

目标=上游重发 · 下游重放 · Checkpoint 回滚导致的重复…

重复数据场景目标=上游重发

事务超时与隔离

目标=Kafka 事务超时 · Flink 事务提交失败 · read_committed 与 r…

事务超时隔离

状态一致性进阶

目标=大状态 Checkpoint · 增量 Checkpoint · 状态 TTL 与 Exactly-O…

状态一致性进阶Checkpoint

水位线与乱序处理

目标=Event Time · Watermark · 迟到数据

水位线乱序处理

多源多汇场景

目标=多 Kafka Topic 输… · 多 Sink 输出 · Union

多源多汇场景Kafka

Kafka 到 Flink 到 Kafka 综合案例

目标=实时订单统计 · 事务写入 · Checkpoint 恢复与结果校验

Kafka 到 Flink 到数据库案例

目标=JDBC Sink 幂等写入 · XA 事务 · 主键去重与 Exactly-Once…

监控与可观测性

目标=Checkpoint 指标 · Kafka Lag · 事务指标

监控可观测性

目标=并行度 · Checkpoint 间隔 · 事务大小

性能调优目标=并行度

常见问题排查

目标=Checkpoint 失败 · 事务未提交 · 数据重复

常见问题排查Checkpoint

生产环境最佳实践

目标=版本兼容 · 参数模板 · 灰度发布

生产环境最佳实践目标=版本兼容

安全与权限

目标=Kafka ACL · SASL · SSL

综合项目实战

目标=设计并实现一条高可靠 Kafk…

综合项目实战Kafk

课程总结与提升

目标=知识图谱 · 能力自检 · 面试高频问题

课程总结提升