4. etcd备份恢复：etcd数据恢复流程（从snapshot+wal恢复）、恢复后的缓存预热策略、恢复后的缓存命中率验证

4.1 从Snapshot + WAL恢复数据

etcd的数据恢复基于快照（Snapshot）与预写日志（WAL）的组合。当集群发生数据损坏、节点宕机或灾难性故障时，必须通过备份的snapshot和WAL文件将etcd恢复到一致状态。恢复流程严格遵循以下步骤：

4.1.1 恢复前置检查清单

4.1.2 恢复执行步骤

1. 停止etcd服务：systemctl stop etcd 或 kill $(pgrep etcd)。
2. 备份旧数据目录：mv /var/lib/etcd /var/lib/etcd.old。
3. 执行恢复命令：

# 使用 snapshot 和 WAL 恢复数据到指定目录
etcdctl snapshot restore /path/to/snapshot.db \
  --name etcd-0 \
  --initial-cluster etcd-0=http://192.168.1.10:2380 \
  --initial-cluster- etcd-cluster-1 \
  --initial-advertise-peer-urls http://192.168.1.10:2380 \
  --data-dir /var/lib/etcd

4. 验证恢复后的数据目录结构：

ls -la /var/lib/etcd/member/
# 预期输出：snap/  wal/

5. 启动etcd单节点：systemctl start etcd 或直接运行 etcd --data-dir=/var/lib/etcd。
6. 验证集群健康状态：

etcdctl endpoint health --cluster
etcdctl endpoint status --cluster --write-out=table

4.2 恢复后的缓存预热策略

etcd恢复后，内存中的缓存（如MVCC缓存、watcher缓存、bbolt事务缓存）全部为空。直接对外提供服务会导致大量读请求穿透到磁盘，引发高延迟和性能抖动。缓存预热是恢复后必须执行的关键步骤。

4.2.1 缓存预热目标

• 热数据加载：将高频访问的key-value对重新加载到etcd的in-memory缓存中。
• watcher重建：恢复客户端watch连接，避免事件丢失。
• bbolt空闲页管理：触发bbolt的freelist重建，优化后续写入性能。

4.2.2 预热策略对比

4.2.3 推荐预热脚本示例

#!/bin/bash
# 全量key遍历预热脚本
ETCDCTL_API=3
ENDPOINT="http://127.0.0.1:2379"
BATCH_SIZE=500
TOTAL_KEYS=0

echo "开始缓存预热..."

# 使用 --limit 分批遍历，避免一次性加载过多key导致OOM
REV=$(etcdctl --endpoints=$ENDPOINT endpoint status --write-out=fields | grep "revision" | awk '{print $2}')
KEY=""

while true; do
  if [ -z "$KEY" ]; then
    RESULT=$(etcdctl --endpoints=$ENDPOINT get --prefix --keys-only --limit=$BATCH_SIZE "")
  else
    RESULT=$(etcdctl --endpoints=$ENDPOINT get --prefix --keys-only --limit=$BATCH_SIZE --from-key="$KEY")
  fi

  COUNT=$(echo "$RESULT" | grep -v "^$" | wc -l)
  if [ "$COUNT" -eq 0 ]; then
    break
  fi

  TOTAL_KEYS=$((TOTAL_KEYS + COUNT))
  KEY=$(echo "$RESULT" | tail -1)
  echo "已预热 $TOTAL_KEYS 个key..."
done

echo "缓存预热完成，共加载 $TOTAL_KEYS 个key。"

4.3 恢复后的缓存命中率验证

缓存命中率是衡量恢复效果的核心指标。etcd的缓存命中率直接影响读请求的延迟和磁盘I/O负载。恢复后必须通过多维度指标验证缓存是否已充分预热。

4.3.1 关键验证指标

4.3.2 缓存命中率验证步骤

1. 启动监控采集：确保Prometheus已配置etcd metrics端点，采集间隔 ≤ 15s。
2. 执行基准查询：使用 etcdctl get --prefix 模拟业务读负载，触发缓存填充。
3. 观察缓存命中率曲线：在Grafana中查看 etcd_mvcc_cache_hits_total 与 etcd_mvcc_cache_misses_total 的比率变化。
4. 对比预热前后延迟：预热前读P99延迟可能 > 100ms，预热后应降至 < 10ms。
5. 执行缓存命中率验证脚本：

#!/bin/bash
# 缓存命中率验证脚本
ENDPOINT="http://127.0.0.1:2379"
METRICS_URL="http://127.0.0.1:2379/metrics"

echo "=== 缓存命中率验证 ==="

# 获取当前缓存指标
HITS=$(curl -s $METRICS_URL | grep 'etcd_mvcc_cache_hits_total' | grep -v '#' | awk '{print $2}')
MISSES=$(curl -s $METRICS_URL | grep 'etcd_mvcc_cache_misses_total' | grep -v '#' | awk '{print $2}')

if [ -z "$HITS" ] || [ -z "$MISSES" ]; then
  echo "错误：无法获取缓存指标，请确认etcd metrics端点已启用。"
  exit 1
fi

TOTAL=$((HITS + MISSES))
if [ "$TOTAL" -eq 0 ]; then
  echo "警告：尚无缓存访问记录，请先执行业务查询。"
  exit 0
fi

HIT_RATE=$(echo "scale=4; $HITS / $TOTAL * 100" | bc)
echo "缓存命中次数: $HITS"
echo "缓存未命中次数: $MISSES"
echo "缓存命中率: ${HIT_RATE}%"

if (( $(echo "$HIT_RATE < 90.0" | bc -l) )); then
  echo "状态: ❌ 缓存命中率低于90%，需要继续预热或检查缓存配置。"
else
  echo "状态: ✅ 缓存命中率正常，恢复完成。"
fi

4.3.3 缓存命中率恢复流程图

4.4 恢复后验证清单

完成恢复和预热后，建议执行以下验证清单，确保集群完全可用：