4. etcd 集群部署与配置：TLS 证书、集群成员管理、Quorum 与 Leader 选举参数调优

etcd 作为 Kubernetes 和 Cilium 控制面的核心数据存储，其集群的稳定性、安全性与性能直接决定了整个多集群沙盘的可靠性。本章将深入 etcd 集群的部署与配置细节，涵盖 TLS 双向认证、成员动态管理、Quorum 机制以及 Leader 选举参数的调优策略。

4.1 TLS 证书体系与双向认证配置

在生产级多集群环境中，etcd 必须启用 TLS 加密通信，防止中间人攻击和数据泄露。etcd 的 TLS 配置涉及三类证书：Peer 证书（集群节点间通信）、Client 证书（客户端与 etcd 通信）、Server 证书（对外提供服务）。

最佳实践： 使用独立的 CA 签发 etcd 证书，避免与 Kubernetes 控制面共用 CA，便于故障隔离和证书轮换。

4.1.1 证书生成与分发

以下使用 cfssl 工具生成 etcd 集群所需的 TLS 证书。假设集群节点为 etcd-0、etcd-1、etcd-2。

# 1. 创建 CA 配置文件
cat > ca-config.json <<EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "etcd": {
        "usages": ["signing", "key encipherment", "server auth", "client auth"],
        "expiry": "87600h"
      }
    }
  }
}
EOF

# 2. 生成 CA 证书和私钥
cfssl gencert -initca ca-csr.json | cfssljson -bare ca

# 3. 为每个节点生成 Peer 证书（包含所有节点 IP 和域名）
cfssl gencert \
  -ca=ca.pem \
  -ca-key=ca-key.pem \
  -config=ca-config.json \
  -profile=etcd \
  -hostname="etcd-0,etcd-1,etcd-2,127.0.0.1,10.0.0.10,10.0.0.11,10.0.0.12" \
  etcd-peer-csr.json | cfssljson -bare etcd-peer

# 4. 生成 Client 证书（用于 kubectl 或 etcdctl 访问）
cfssl gencert \
  -ca=ca.pem \
  -ca-key=ca-key.pem \
  -config=ca-config.json \
  -profile=etcd \
  etcd-client-csr.json | cfssljson -bare etcd-client

4.1.2 etcd 启动参数中的 TLS 配置

每个 etcd 节点启动时需指定以下 TLS 相关参数：

参数 说明 示例值
--cert-file Server 证书路径 /etc/etcd/ssl/etcd-server.pem
--key-file Server 私钥路径 /etc/etcd/ssl/etcd-server-key.pem
--peer-cert-file Peer 通信证书 /etc/etcd/ssl/etcd-peer.pem
--peer-key-file Peer 通信私钥 /etc/etcd/ssl/etcd-peer-key.pem
--trusted-ca-file 客户端 CA 证书 /etc/etcd/ssl/ca.pem
--peer-trusted-ca-file Peer 通信 CA 证书 /etc/etcd/ssl/ca.pem
--client-cert-auth 启用客户端证书认证 true
--peer-client-cert-auth 启用 Peer 证书认证 true
注意： 如果 --client-cert-auth 和 --peer-client-cert-auth 设置为 true，但未正确配置对应的 CA 文件，etcd 将拒绝所有连接，导致集群不可用。

4.2 集群成员管理与动态扩缩容

etcd 支持运行时动态添加或移除成员，无需重启整个集群。成员管理通过 etcdctl member 命令实现。

4.2.1 添加新成员

假设现有集群为 3 节点，需要扩容到 5 节点。添加新节点 etcd-3 的步骤：

  1. 在现有集群中注册新成员：
etcdctl --endpoints=https://10.0.0.10:2379 \
  --cacert=/etc/etcd/ssl/ca.pem \
  --cert=/etc/etcd/ssl/etcd-client.pem \
  --key=/etc/etcd/ssl/etcd-client-key.pem \
  member add etcd-3 \
  --peer-urls=https://10.0.0.13:2380
  1. 在新节点上启动 etcd，加入已有集群：
etcd --name etcd-3 \
  --initial-advertise-peer-urls https://10.0.0.13:2380 \
  --listen-peer-urls https://0.0.0.0:2380 \
  --advertise-client-urls https://10.0.0.13:2379 \
  --listen-client-urls https://0.0.0.0:2379 \
  --initial-cluster-state existing \
  --initial-cluster etcd-0=https://10.0.0.10:2380,etcd-1=https://10.0.0.11:2380,etcd-2=https://10.0.0.12:2380,etcd-3=https://10.0.0.13:2380

4.2.2 移除成员

etcdctl member remove <member-id>
关键指标： 成员变更后，使用 etcdctl endpoint status --cluster 检查所有节点的 DB SIZE 和 IS LEADER 状态，确保数据同步正常。

4.3 Quorum 机制与 Leader 选举参数调优

etcd 使用 Raft 共识算法保证数据一致性。Quorum（法定人数）是 Raft 的核心概念，决定了集群在故障容忍度与性能之间的平衡。

4.3.1 Quorum 与集群规模的关系

集群节点数 Quorum（多数） 最大故障容忍节点数 推荐场景
3 2 1 最小生产集群
5 3 2 标准生产集群
7 4 3 跨可用区部署

Quorum 计算公式：Quorum = floor(N/2) + 1。例如 5 节点集群，Quorum = 3，允许最多 2 个节点故障。

4.3.2 Leader 选举参数详解

etcd 的 Leader 选举由以下关键参数控制：

参数 默认值 调优建议 影响
--heartbeat-interval 100ms 50ms ~ 200ms Leader 发送心跳的频率。值越小，故障检测越快，但网络开销增大。
--election-timeout 1000ms 500ms ~ 2000ms Follower 等待 Leader 心跳的超时时间。值越小，选举越快，但误触发概率增加。
--snapshot-count 100000 50000 ~ 200000 触发快照的提交事务数。值越小，WAL 日志恢复越快，但磁盘 I/O 增加。
调优陷阱： election-timeout 必须大于 heartbeat-interval 的 5 倍以上，否则网络抖动会频繁触发 Leader 选举，导致集群不稳定。例如 heartbeat-interval=100ms 时，election-timeout 建议 ≥ 500ms。

4.3.3 选举参数调优流程

  1. 基准测试： 使用 etcdctl check perf 或压测工具测量当前集群的延迟和吞吐量。
  2. 调整 heartbeat-interval： 在低延迟网络（同机房 < 1ms）中可降至 50ms；跨可用区（延迟 5-10ms）建议 150-200ms。
  3. 调整 election-timeout： 根据网络抖动情况设置。如果集群节点间延迟波动较大，适当增大超时时间（如 1500ms）。
  4. 验证稳定性： 观察 etcd --metrics=extensive 输出的 etcd_server_leader_changes_seen_total 指标，确保 Leader 切换次数在合理范围（正常集群每小时 < 5 次）。

4.4 集群部署架构图

下图展示了一个 5 节点 etcd 集群的部署架构，包含 TLS 通信、Quorum 决策和 Leader 选举关系：

5 节点 etcd 集群架构 — TLS 通信与 Raft 选举 Leader etcd-0 (10.0.0.10) Follower etcd-1 (10.0.0.11) Follower etcd-2 (10.0.0.12) Follower etcd-3 (10.0.0.13) Follower etcd-4 (10.0.0.14) Quorum = 3（floor(5/2)+1），允许最多 2 个节点故障。Leader 通过 TLS 加密心跳维持集群一致性。 所有节点间通信使用 Peer 证书双向认证，客户端访问使用 Client 证书。

4.5 性能调优参数汇总

以下表格汇总了 etcd 集群部署中与性能、稳定性相关的关键参数，适用于多集群沙盘压测场景：

参数类别 参数名 推荐值（压测场景） 说明
网络 --heartbeat-interval 100ms 平衡故障检测速度与网络开销
选举 --election-timeout 1000ms 避免网络抖动导致频繁选举
存储 --snapshot-count 100000 控制快照频率，减少 WAL 恢复时间
存储 --max-request-bytes 1572864 (1.5MB) 限制单次请求大小，防止 OOM
存储 --quota-backend-bytes 8589934592 (8GB) etcd 数据库大小上限，超过后只读
并发 --max-txn-ops 128 单次事务最大操作数
并发 --max-request-per-server 1000 单节点最大并发请求数
压测验证： 在沙盘环境中使用 etcdctl check perf --load=1M 测试写入性能，观察 99th percentile latency 是否 < 10ms。如果延迟过高，优先检查磁盘 IOPS（推荐 NVMe SSD）和网络延迟。

4.6 常见问题与避坑指南

  • 证书过期： 设置证书有效期监控，提前 30 天轮换。使用 openssl x509 -in <cert> -noout -dates 检查证书有效期。
  • 成员添加失败： 确保新节点的 --initial-cluster-state existing 参数正确，且 --initial-cluster 包含所有现有节点。
  • Leader 频繁切换： 检查网络延迟和丢包率。使用 ping -c 100 -i 0.1 <peer-ip> 测试节点间延迟，若抖动 > 50ms，增大 election-timeout。
  • 磁盘空间不足： etcd 默认数据目录在 /var/lib/etcd，建议使用独立磁盘并监控使用率，超过 90% 时触发告警。
← 上一章 📖 返回目录 下一章 →