2. 多集群 etcd 拓扑设计：跨数据中心部署模式、集群间网络拓扑、客户端路由策略
多集群 etcd 拓扑设计是保障分布式系统高可用与低延迟的核心环节。本章聚焦于跨数据中心部署模式、集群间网络拓扑以及客户端路由策略三个维度，为后续压测与调优奠定架构基础。
2.1 跨数据中心部署模式
跨数据中心部署的核心目标是平衡 容灾能力 与 写入延迟。常见的部署模式包括以下三种：
| 部署模式 | 节点分布 | 写入延迟 | 容灾能力 | 适用场景 |
|---|---|---|---|---|
| 单集群跨 DC | 一个 etcd 集群成员分散在 2~3 个数据中心 | 高（需跨 DC RTT） | 容忍 1~2 个 DC 故障 | 中小规模、对写入延迟不敏感 |
| 双集群主备 | 主集群在 DC-A，备集群在 DC-B，异步复制 | 低（主集群本地写入） | 容忍主 DC 故障（有数据丢失窗口） | 读写分离、异地灾备 |
| 多集群对等 | 每个 DC 独立 etcd 集群，通过网关层同步 | 低（本地写入） | 容忍任意 DC 故障，无单点 | 大规模、全球部署、强隔离需求 |
压测提示： 单集群跨 DC 模式下，写入延迟受最慢 DC 间 RTT 支配。若 DC 间延迟超过 10ms，建议优先考虑多集群对等模式，以降低 P99 写入延迟。
下图展示了三种跨数据中心部署模式的拓扑对比：
2.2 集群间网络拓扑
多集群 etcd 的网络拓扑设计直接影响数据同步延迟与故障隔离能力。以下是两种主流拓扑结构：
- 星型拓扑（Hub-and-Spoke）： 中心集群负责聚合所有边缘集群的数据变更，边缘集群只与中心集群通信。优点是管理简单，缺点是中心集群成为瓶颈与单点。
- 网状拓扑（Mesh）： 每个集群与其他所有集群建立点对点连接。优点是延迟低、无单点，缺点是连接数随集群数量平方增长，运维复杂度高。
性能工程建议： 在压测场景中，星型拓扑的中心集群网络带宽与连接数容易成为瓶颈。建议在 5 个集群以上时采用网状拓扑，并配合连接池复用与心跳优化。
下图对比了星型与网状两种拓扑结构：
2.3 客户端路由策略
客户端路由策略决定了请求如何被分发到正确的 etcd 集群。不合理的路由策略会导致请求倾斜、跨 DC 延迟增加甚至超时。以下是三种常用策略：
| 路由策略 | 实现方式 | 延迟特征 | 负载均衡 | 压测关注点 |
|---|---|---|---|---|
| 就近路由 | 客户端根据自身 IP/区域，选择最近的 etcd 集群 | 最低（本地访问） | 依赖 DNS/地理位置映射 | 映射表更新延迟、缓存失效 |
| 一致性哈希 | 根据 key 哈希值将请求固定路由到特定集群 | 中等（可能跨 DC） | 天然均匀 | 集群扩缩容时的 rehash 开销 |
| 代理路由 | 通过 etcd 网关或 sidecar 代理转发请求 | 高（增加一跳） | 代理层可做加权/限流 | 代理层吞吐与连接数瓶颈 |
避坑指南： 一致性哈希策略在集群扩缩容时会导致大量 key 重新映射，引发瞬时写入放大。建议在压测前预先规划好集群规模，或使用虚拟节点技术减少 rehash 影响。
2.4 拓扑设计对压测的影响
在进行多集群 etcd 压测前，必须明确拓扑设计对性能指标的约束：
- 写入延迟： 跨 DC 的 RTT 是硬约束。单集群跨 DC 模式下，P99 写入延迟 ≈ 本地写入延迟 + 最慢 DC 间 RTT。
- 吞吐量上限： 星型拓扑的中心集群网络带宽与连接数决定整体吞吐上限。网状拓扑的吞吐上限受限于最慢集群的处理能力。
- 故障恢复时间： 多集群对等模式下，单个集群故障不影响其他集群，恢复时间仅取决于本地集群的重启与数据加载。
压测基线建议： 在开始压测前，先通过
ping 与 iperf 测量 DC 间网络延迟与带宽，作为后续调优的基准数据。同时记录每个集群的节点数、磁盘类型与内核参数，确保压测结果可复现。