01
MirrorMaker概述
什么是跨集群数据复制、MirrorMaker的定位与价值、核心应用场景。
概念场景
02
架构原理
MirrorMaker 1.x vs 2.x 架构对比、内部组件(Source Connector、Sink Connector)、工作流程。
架构组件
03
环境准备
Kafka集群搭建(源集群与目标集群)、网络连通性检查、JMX监控配置。
部署网络
04
MirrorMaker 2.0安装
下载与解压、配置文件详解(mm2.properties)、启动与验证。
安装配置
05
核心配置
集群别名定义、连接配置(bootstrap.servers)、复制策略(ReplicationPolicy)、心跳与检查点。
配置策略
06
Topic复制
自动创建Topic、Topic配置同步、分区数与副本因子管理。
Topic同步
07
数据同步机制
Consumer Offset同步、Consumer Group迁移、Exactly-Once语义保障。
同步语义
08
监控与告警
JMX指标解读、Prometheus + Grafana集成、关键告警规则设置。
监控告警
09
性能调优
生产者/消费者参数调优、并行度设置、网络与磁盘瓶颈分析。
调优性能
10
故障处理
常见错误排查、数据不一致修复、集群切换演练。
故障恢复
11
安全配置
SSL/TLS加密、SASL认证、ACL权限控制。
安全认证
12
多集群拓扑
Active-Active模式、Active-Standby模式、Hub-and-Spoke模式。
拓扑架构
13
数据过滤与转换
使用Single Message Transform(SMT)、自定义Transform开发。
过滤转换
14
大消息处理
消息体大小限制调整、压缩算法选择、分段传输策略。
大消息压缩
15
延迟与吞吐量
端到端延迟分析、吞吐量压测方法、优化实践。
延迟吞吐
16
版本兼容性
Kafka版本升级策略、MirrorMaker版本对应关系、滚动升级步骤。
兼容升级
17
跨地域复制
跨数据中心网络优化、带宽控制、异地容灾方案。
跨地域容灾
18
数据一致性
幂等生产者、事务支持、数据校验机制。
一致性事务
19
资源规划
硬件选型建议、内存与CPU配置、磁盘容量估算。
规划硬件
20
自动化部署
Ansible脚本编写、Docker容器化部署、Kubernetes Operator方案。
自动化容器
21
日志分析
日志级别设置、关键日志解读、日志聚合工具(ELK)。
日志ELK
22
备份与恢复
元数据备份、数据快照、灾难恢复流程。
备份恢复
23
测试策略
单元测试、集成测试、混沌工程实验。
测试混沌
24
成本控制
带宽成本优化、存储成本优化、实例规格选择。
成本优化
25
案例实战
电商订单系统跨集群复制、日志采集系统异地备份。
实战案例
26
高级特性
反射(Reflection)机制、自定义ReplicationPolicy、连接器REST API。
高级API
27
生态集成
与Schema Registry集成、与Kafka Connect集成、与Streams应用协同。
生态集成
28
运维工具
MirrorMaker CLI命令、健康检查脚本、自动化巡检工具。
运维工具
29
最佳实践
配置模板、部署清单、常见问题FAQ。
实践FAQ
30
未来展望
Kafka Raft(KRaft)模式影响、Serverless Kafka趋势、云原生演进。
趋势云原生