4. 自愈剧本设计原则：幂等性、可观测性、优雅降级、回滚机制、限速与防抖

自愈剧本不是简单的“检测-重启”循环。在生产环境中，一个设计不良的剧本可能比故障本身更具破坏性——它可能引发资源竞争、状态不一致、告警风暴，甚至导致集群级雪崩。本章围绕五个核心设计原则展开，确保自愈剧本在真实压力下具备鲁棒性与可控性。

4.1 幂等性：重复执行不产生副作用

幂等性是自愈剧本的基石。无论剧本执行一次、两次还是十次，系统最终状态必须一致。Exporter 异常自愈场景中，幂等性体现在三个层面：

幂等性设计直接决定了剧本能否安全地重试。一个非幂等的剧本在重试时可能产生重复端口绑定、重复注册、重复告警等连锁问题。

4.2 可观测性：自愈过程必须可追踪

自愈剧本本身是“可观测性系统”的一部分，但它自身也必须被观测。如果自愈动作没有留下痕迹，SRE 将无法判断“是故障被修复了，还是剧本根本没触发”。

可观测性在自愈剧本中应覆盖三个维度：

• 日志（Logs）： 记录每次自愈触发的上下文——检测到的异常指标值、执行的动作、执行耗时、结果状态。
• 指标（Metrics）： 暴露自愈剧本自身的运行指标，如触发次数、成功率、平均修复耗时、当前是否处于抑制状态。
• 事件（Events）： 将自愈动作作为事件写入告警平台或事件总线，便于事后审计和关联分析。

下图展示了自愈剧本的可观测性数据流：

4.3 优雅降级：在资源受限时保持核心能力

自愈剧本不应在资源紧张时与业务进程争抢 CPU、内存或 I/O。优雅降级要求剧本能够感知自身运行环境，并在压力下主动缩减行为：

• 检测阶段降级： 如果系统负载超过 80%，跳过耗时的深度健康检查（如 TLS 证书验证），仅执行基础端口探测。
• 修复阶段降级： 如果磁盘 I/O 等待时间超过 500ms，放弃日志归档步骤，仅执行进程重启。
• 通知阶段降级： 如果告警通道限流，合并多条自愈通知为一条摘要，而非逐条发送。

4.4 回滚机制：变更可逆是安全底线

任何自愈动作都可能是双刃剑——重启可能解决内存泄漏，但也可能中断正在进行的指标采集。回滚机制确保当自愈动作导致负面效果时，系统能够快速恢复到上一个稳定状态。

回滚策略分为三个层级：

# 健康检查窗口：重启后 60 秒内必须恢复
health_check_window: 60
# 连续失败次数：3 次健康检查失败则触发回滚
rollback_on_consecutive_failures: 3
# 回滚动作：恢复上一版本配置并重启
rollback_action: "cp /backup/exporter.yaml /etc/exporter/config.yaml && systemctl restart exporter"

4.5 限速与防抖：防止自愈风暴

自愈剧本最危险的场景不是“不工作”，而是“工作得太频繁”。当多个 exporter 同时故障，或同一个 exporter 反复崩溃时，无限制的自愈尝试会形成自愈风暴，耗尽系统资源并淹没告警通道。

限速与防抖策略包含以下机制：

• 最小间隔（Min Interval）： 同一 exporter 两次自愈动作之间至少间隔 300 秒，避免频繁重启。
• 指数退避（Exponential Backoff）： 每次失败后，下次重试间隔翻倍（如 30s → 60s → 120s → 300s），上限为 3600 秒。
• 熔断（Circuit Breaker）： 连续失败 N 次后，停止对该 exporter 的自愈，进入“人工介入”状态，直到 SRE 手动重置。
• 全局限速（Global Rate Limit）： 整个集群每分钟最多执行 M 次自愈动作，防止批量故障时并发风暴。

下图展示了限速与防抖的状态机：

4.6 原则协同：一个完整的自愈剧本示例

将上述五个原则整合到一个自愈剧本中，形成可落地的执行流程：

# 自愈剧本：node_exporter 异常恢复
# 原则覆盖：幂等性 + 可观测性 + 优雅降级 + 回滚 + 限速防抖

steps:
  - name: "健康检查"
    probe:
      type: http
      url: "http://localhost:9100/metrics"
      timeout: 5s
      # 优雅降级：高负载时跳过深度检查
      deep_check: ${system.load.1m < 0.8}

  - name: "执行修复"
    on_failure:
      # 幂等性：使用 restart 而非 start
      action: "systemctl restart node_exporter"
      # 回滚机制：备份当前配置
      pre_hook: "cp /etc/node_exporter/config.yaml /tmp/config.yaml.bak"
      post_hook: "sleep 10 && curl -sf http://localhost:9100/metrics || cp /tmp/config.yaml.bak /etc/node_exporter/config.yaml && systemctl restart node_exporter"

  - name: "限速与防抖"
    rate_limit:
      # 最小间隔 300 秒
      min_interval: 300
      # 指数退避：30s, 60s, 120s, 240s, 480s, 960s
      backoff_base: 30
      backoff_factor: 2
      max_backoff: 3600
      # 熔断：连续 5 次失败后停止
      circuit_breaker_threshold: 5

  - name: "可观测性输出"
    observability:
      log: "self_healing/action.log"
      metric: "self_healing_node_exporter_total"
      event_topic: "self_healing_events"