VIP20

本课程属于：045-数据备份与灾备 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Kafka与Flink流数据链路容灾恢复

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

灾备基础：RTO/RPO核心指标

什么是灾备？为什么Kafka+Flink需要灾备？深入理解RTO与RPO在流处理中的权衡。

架构总览：主备/双活/多活

Kafka与Flink灾备方案全景图，对比Active-Standby、双活、异地多活架构差异。

Kafka高可用原理

ISR机制、Leader选举过程、ACKS配置对灾备的影响，保障Broker级韧性。

Kafka跨集群复制：MirrorMaker 2.0

MM2架构、配置、监控与调优，实现Topic级别跨数据中心同步。

Confluent Replicator vs MM2

选型对比与实战：功能、性能、运维成本，根据场景选择跨集群复制工具。

Kafka数据一致性

幂等生产者、事务、Exactly-Once语义在灾备中的角色，确保端到端不丢不重。

一致性事务

Flink Checkpoint机制

原理、配置、存储后端（HDFS/S3）选择，Checkpoint是灾备恢复的基石。

Flink Savepoint机制

手动触发、自动清理、与Checkpoint的区别，Savepoint在版本升级与迁移中的灾备价值。

Savepoint运维

Flink状态后端选型

RocksDB、HashMap、FsStateBackend在灾备场景下的选择，性能与一致性权衡。

状态后端RocksDB

Flink Exactly-Once

端到端Exactly-Once实现，Kafka Source/Sink 配置，保证灾备切换数据精确一次。

Exactly-OnceKafka

Flink重启策略

FixedDelay、FailureRate、ExponentialDelay在灾备中的配置，快速恢复作业。

主备架构：Active-Standby

Active-Standby模式，Flink作业如何从备集群恢复，实现分钟级RTO。

双活架构：Active-Active

Active-Active模式，数据冲突处理，Flink双写方案，保证两地数据最终一致。

异地多活：跨地域部署

跨地域部署，网络延迟对Checkpoint的影响，数据同步策略与时钟偏差处理。

Debezium + Kafka Connect CDC

实现MySQL到Kafka的CDC灾备，捕获增量变更，构建实时灾备数据管道。

Canal vs Debezium 选型

Canal与Debezium对比，与Flink集成方式，根据数据库类型选择同步工具。

容灾演练：Broker宕机

模拟Kafka Broker宕机，Flink作业如何自动恢复，验证ISR与Leader选举。

容灾演练：JobManager故障

模拟Flink JobManager故障，Standby JobManager切换，保证作业高可用。

容灾演练：网络分区

模拟网络分区，Kafka与Flink如何应对，避免脑裂与数据不一致。

监控告警：Kafka关键指标

ISR、UnderReplicatedPartitions等指标监控，提前发现灾备风险。

监控告警：Flink关键指标

Checkpoint失败、延迟、背压监控，保障灾备切换时作业健康。

Prometheus + Grafana 大盘

搭建灾备监控大盘，聚合Kafka与Flink指标，可视化告警与趋势。

K8s Operator 自动漂移

基于K8s Operator实现Flink作业自动漂移，故障时秒级迁移。

ZooKeeper/Etcd 自动切换

基于ZooKeeper/Etcd实现Kafka Controller自动切换，避免单点故障。

数据校验：灾备切换后一致性

灾备切换后，如何校验Kafka与Flink数据一致性，保证业务正确。

校验一致性

Checksum/Count/Sample 校验

Checksum、Count、Sample对比，自动化校验脚本，快速发现数据差异。

脚本自动化

性能优化：Kafka参数调优

灾备场景下Kafka生产者和消费者参数调优，降低延迟与资源消耗。

性能优化：Flink参数调优

灾备场景下Flink并行度、Buffer、网络参数调优，提升吞吐与稳定性。

成本控制：资源规划与扩缩容

灾备资源规划，按需扩容与缩容策略，平衡灾备能力与成本。

实战案例：金融公司灾备复盘

某金融公司Kafka+Flink灾备方案全流程复盘，从设计到演练完整经验。