3. etcd 集群部署：集群搭建、TLS 配置、成员管理、健康检查与故障恢复

etcd 作为 Kubernetes 的控制面存储，其集群的稳定性直接决定整个集群的可用性。本节将围绕 etcd 集群的完整生命周期展开，涵盖从二进制部署、TLS 双向认证、成员动态管理到健康巡检与故障恢复的全流程操作。

3.1 集群架构与节点规划

生产环境推荐使用奇数节点（3 或 5 台）以保证 Raft 多数派可用。以下为 3 节点集群的典型规划：

3.2 二进制部署与 TLS 配置

etcd 支持多种部署方式，生产环境推荐使用官方二进制或容器镜像。以下为基于二进制的手动部署步骤，TLS 使用自签名 CA 实现双向认证。

3.2.1 生成 TLS 证书

使用 cfssl 工具生成 CA 证书、服务端证书及客户端证书。关键步骤：

# 1. 生成 CA 配置文件与证书
cfssl gencert -initca ca-csr.json | cfssljson -bare ca

# 2. 生成 etcd 服务端证书（需包含所有节点 IP 与域名）
cfssl gencert \
  -ca=ca.pem \
  -ca-key=ca-key.pem \
  -config=ca-config.json \
  -profile=server \
  server-csr.json | cfssljson -bare server

# 3. 生成客户端证书（用于 etcdctl 与 Kubernetes API Server 连接）
cfssl gencert \
  -ca=ca.pem \
  -ca-key=ca-key.pem \
  -config=ca-config.json \
  -profile=client \
  client-csr.json | cfssljson -bare client

3.2.2 启动 etcd 节点

以下为 etcd-0 节点的启动命令示例，其他节点仅需修改 --name、--initial-advertise-peer-urls、--listen-peer-urls 等参数：

etcd \
  --name etcd-0 \
  --data-dir /var/lib/etcd \
  --initial-advertise-peer-urls https://10.0.1.10:2380 \
  --listen-peer-urls https://0.0.0.0:2380 \
  --advertise-client-urls https://10.0.1.10:2379 \
  --listen-client-urls https://0.0.0.0:2379 \
  --initial-cluster- etcd-cluster-1 \
  --initial-cluster etcd-0=https://10.0.1.10:2380,etcd-1=https://10.0.1.11:2380,etcd-2=https://10.0.1.12:2380 \
  --initial-cluster-state new \
  --client-cert-auth \
  --trusted-ca-file=/etc/etcd/ssl/ca.pem \
  --cert-file=/etc/etcd/ssl/server.pem \
  --key-file=/etc/etcd/ssl/server-key.pem \
  --peer-client-cert-auth \
  --peer-trusted-ca-file=/etc/etcd/ssl/ca.pem \
  --peer-cert-file=/etc/etcd/ssl/server.pem \
  --peer-key-file=/etc/etcd/ssl/server-key.pem

3.3 成员管理

etcd 支持运行时动态添加、移除成员，无需重启整个集群。以下为常用操作：

3.4 健康检查

etcd 提供多种健康检查方式，用于监控告警与自动化运维：

• 端点健康检查： etcdctl endpoint health --cluster 返回每个节点的健康状态与延迟。
• 端点状态检查： etcdctl endpoint status --cluster --write-out=table 显示 Raft 角色、DB 大小、版本等。
• Prometheus 指标： 通过 /metrics 端点暴露，关键指标包括 etcd_server_leader_changes_seen_total、etcd_network_client_grpc_sent_bytes_total、etcd_mvcc_db_total_size_in_bytes。
• Kubernetes 就绪探针： 使用 etcdctl endpoint health 作为 livenessProbe 与 readinessProbe 的命令。

# 健康检查示例
etcdctl --endpoints=https://10.0.1.10:2379,https://10.0.1.11:2379,https://10.0.1.12:2379 \
  --cacert=/etc/etcd/ssl/ca.pem \
  --cert=/etc/etcd/ssl/client.pem \
  --key=/etc/etcd/ssl/client-key.pem \
  endpoint health --cluster

3.5 故障恢复

etcd 故障场景主要分为单节点故障与多数派故障。以下为两种典型恢复流程：

3.5.1 单节点故障恢复

1. 停止故障节点进程。
2. 清理数据目录（rm -rf /var/lib/etcd/member）。
3. 使用 etcdctl member remove 移除故障成员。
4. 使用 etcdctl member add 重新添加成员，获取新节点启动参数。
5. 以 --initial-cluster-state=existing 启动新节点。

3.5.2 多数派故障恢复（数据抢救）

当超过半数节点永久故障时，需从剩余健康节点中恢复数据：

# 1. 在健康节点上导出快照
etcdctl snapshot save /backup/snapshot.db

# 2. 停止所有 etcd 进程，清理所有节点数据目录

# 3. 在单节点上恢复快照
etcdctl snapshot restore /backup/snapshot.db \
  --name etcd-0 \
  --initial-cluster etcd-0=https://10.0.1.10:2380 \
  --initial-cluster- etcd-cluster-restore \
  --initial-advertise-peer-urls https://10.0.1.10:2380 \
  --data-dir /var/lib/etcd

# 4. 启动该节点，验证数据完整性

# 5. 使用 member add 逐步添加其他节点

3.6 etcd 集群部署与故障恢复流程总览

下图展示了从集群初始化、TLS 配置、成员管理到故障恢复的完整流程：

3.7 关键告警指标参考

基于 Prometheus 的 etcd 告警规则应覆盖以下核心维度：