4. etcd 恢复实践：数据恢复流程、快照恢复、WAL 重放、数据一致性校验

etcd 作为 Kubernetes 控制平面的核心数据存储，其恢复能力直接决定了集群在灾难后的存活窗口与数据完整性。本章围绕 etcd 的物理恢复路径，从快照恢复、WAL 重放到一致性校验，构建一套可操作的恢复准入流程。

4.1 恢复流程总览

etcd 恢复遵循“停止 → 清理 → 还原 → 启动 → 校验”五步法。任何跳过校验步骤的恢复操作都可能导致集群进入“数据可用但逻辑不一致”的亚健康状态。

4.2 快照恢复：从备份到可运行集群

快照恢复是 etcd 恢复中最常用、最可靠的路径。etcd 的 snapshot restore 命令会从压缩的 snapshot.db 中重建完整的数据目录，并生成新的 WAL 文件。

4.2.1 快照恢复标准步骤

# 1. 停止 etcd 服务
systemctl stop etcd

# 2. 备份旧数据目录（保留现场）
mv /var/lib/etcd /var/lib/etcd.$(date +%Y%m%d%H%M%S).bak

# 3. 使用快照恢复（单节点恢复示例）
etcdctl snapshot restore /backup/etcd/snapshot-20250401-120000.db \
  --name etcd-0 \
  --initial-cluster etcd-0=http://10.0.0.1:2380 \
  --initial-cluster- etcd-cluster-1 \
  --initial-advertise-peer-urls http://10.0.0.1:2380 \
  --data-dir /var/lib/etcd

# 4. 启动 etcd
systemctl start etcd

# 5. 验证成员健康
etcdctl endpoint health --cluster
etcdctl member list

4.2.2 多节点集群恢复策略

对于多节点 etcd 集群，恢复时不能简单地对每个节点执行 snapshot restore。标准做法是：先在一台节点上恢复快照，然后将其作为种子节点，其他节点以 learner 或 member 身份加入。

4.3 WAL 重放：从日志中抢救未落盘数据

当快照文件损坏或丢失，但 WAL 目录完整时，etcd 可以通过 WAL 重放机制恢复到最新状态。WAL 重放是比快照恢复更精细、但风险更高的恢复路径。

4.3.1 WAL 重放原理

etcd 在启动时自动执行 WAL 重放：读取 data-dir/member/wal 目录下的所有 .wal 文件，按顺序重放日志条目，重建内存中的 KV 存储。如果 WAL 文件尾部存在截断或损坏，etcd 会尝试自动修复。

# 查看 WAL 文件列表
ls -la /var/lib/etcd/member/wal/

# 使用 etcdutl 检查 WAL 完整性
etcdutl check wal /var/lib/etcd/member/wal/

# 手动触发 WAL 修复（仅限紧急情况）
etcdutl repair wal /var/lib/etcd/member/wal/

4.3.2 WAL 与快照的协同恢复

在实际灾备场景中，快照恢复和 WAL 重放通常组合使用：先用快照恢复到某个基准时间点，再通过 WAL 重放追赶后续变更。

# 组合恢复流程
# 1. 从快照恢复基准数据
etcdctl snapshot restore /backup/etcd/snapshot-20250401-120000.db \
  --data-dir /var/lib/etcd

# 2. 将备份的 WAL 文件复制到恢复后的目录
cp -r /backup/etcd/wal/* /var/lib/etcd/member/wal/

# 3. 启动 etcd，自动执行 WAL 重放
systemctl start etcd

# 4. 检查最终数据版本
etcdctl endpoint status --write-out=table

4.4 数据一致性校验

恢复完成后，必须执行多维度的一致性校验，确保数据在逻辑层面和物理层面均无损坏。

4.4.1 校验维度矩阵

4.4.2 自动化校验脚本示例

#!/bin/bash
# etcd 恢复后一致性校验脚本

set -euo pipefail

ENDPOINTS="https://10.0.0.1:2379,https://10.0.0.2:2379,https://10.0.0.3:2379"
CA_CERT="/etc/etcd/ca.pem"
CERT="/etc/etcd/etcd.pem"
KEY="/etc/etcd/etcd-key.pem"

echo "[1/4] 检查 Raft 一致性..."
etcdctl --endpoints=$ENDPOINTS --cacert=$CA_CERT --cert=$CERT --key=$KEY \
  endpoint status --write-out=table

echo "[2/4] 检查数据完整性..."
etcdctl --endpoints=$ENDPOINTS --cacert=$CA_CERT --cert=$CERT --key=$KEY \
  check data || { echo "数据完整性校验失败"; exit 1; }

echo "[3/4] 检查关键业务 key..."
EXPECTED_VALUE="production"
ACTUAL_VALUE=$(etcdctl --endpoints=$ENDPOINTS --cacert=$CA_CERT --cert=$CERT --key=$KEY \
  get /config/environment --print-value-only)
if [ "$ACTUAL_VALUE" != "$EXPECTED_VALUE" ]; then
  echo "业务 key 校验失败: 期望 $EXPECTED_VALUE, 实际 $ACTUAL_VALUE"
  exit 1
fi

echo "[4/4] 性能基准测试..."
etcdctl --endpoints=$ENDPOINTS --cacert=$CA_CERT --cert=$CERT --key=$KEY \
  check perf --load=1M

echo "所有校验通过，集群恢复完成。"

4.5 恢复流程架构图

下图展示了从灾难发生到恢复完成的完整数据流，包含快照恢复与 WAL 重放两条路径的决策点。

4.6 常见恢复故障与排查