4. 自愈剧本设计：Playbook 的组成要素、触发条件、执行动作、回滚策略

自愈剧本（Playbook）是事件驱动自愈体系的核心执行单元。它将运维专家的故障处理经验转化为可编程、可版本控制、可审计的自动化流程。一个健壮的 Playbook 必须包含四个核心维度：组成要素（剧本结构）、触发条件（何时启动）、执行动作（如何修复）、回滚策略（如何止损）。

4.1 Playbook 的组成要素

一个标准化的自愈 Playbook 采用 YAML 或 JSON 声明式定义，包含元数据、触发规则、动作链、回滚块和状态管理五个部分。下表列出了各要素的职责与典型字段：

4.2 触发条件：从事件到剧本的精准映射

触发条件决定了 Playbook 何时被激活。在事件触发 Exporter 链路中，触发条件通常由告警规则、事件标签和抑制逻辑三层构成。

• 事件源匹配： 基于 alertname、job、instance 等标签精确匹配。例如只响应 ExporterDown 且 severity=critical 的事件。
• 条件表达式： 支持 PromQL 或 CEL（Common Expression Language）对告警负载做二次过滤。例如 value > 95 且 duration > 5m。
• 抑制与去重： 设置 cooldown 窗口（如 300 秒），防止同一事件在短时间内重复触发多次剧本执行。

trigger:
  on_event: "ExporterDown"
  match_labels:
    severity: "critical"
    job: "node_exporter"
  condition: "value == 0 && duration >= 60s"
  cooldown: 300s

4.3 执行动作：修复链的有序编排

执行动作是 Playbook 的主体，由一系列原子操作组成。每个动作可以是一个 Shell 命令、HTTP 请求、Ansible Task 或自定义函数。动作之间支持三种编排模式：

每个动作必须定义 timeout（超时时间）和 retry（重试策略）。重试策略通常采用指数退避（Exponential Backoff），避免在故障未恢复时反复执行相同操作。

4.4 回滚策略：自愈的最后一道防线

回滚策略是 Playbook 区别于普通脚本的关键特征。当执行动作失败、超时或产生预期外副作用时，回滚块负责将系统恢复到执行前的安全状态。

回滚策略的设计原则：

• 幂等性： 回滚操作本身必须幂等，多次执行不会产生副作用。
• 原子性： 要么全部回滚成功，要么记录失败状态并人工介入。
• 快照优先： 在执行变更前，先对关键文件、配置或进程状态做快照（Snapshot），回滚时直接恢复快照。

rollback:
  on_failure: "any"
  steps:
    - action: "restore_snapshot"
      params:
        snapshot_id: "{{ .snapshot_id }}"
    - action: "restart_service"
      params:
        service: "node_exporter"
        timeout: 30s

4.5 Playbook 生命周期与状态流转

下图展示了 Playbook 从触发到结束的完整状态机，包含触发、执行、回滚和完成四个主要阶段：

4.6 实战案例：Exporter 进程自愈 Playbook

以下是一个完整的 Exporter 进程自愈 Playbook 示例，整合了上述所有要素：

name: "exporter_process_recovery"
version: "1.2.0"
owner: "sre-team"
description: "检测 Exporter 进程挂掉后自动重启，失败则回滚到上一个稳定版本"

trigger:
  on_event: "ExporterDown"
  match_labels:
    severity: "critical"
  condition: "value == 0 && duration >= 30s"
  cooldown: 120s

steps:
  - id: "health_check"
    action: "http_get"
    params:
      url: "http://{{ .instance }}:9100/metrics"
      timeout: 10s
    on_failure: "continue"

  - id: "restart_process"
    action: "shell"
    params:
      command: "systemctl restart node_exporter"
      timeout: 30s
    retry:
      max_attempts: 2
      backoff: "exponential"

  - id: "verify_recovery"
    action: "http_get"
    params:
      url: "http://{{ .instance }}:9100/metrics"
      timeout: 15s
    on_failure: "rollback"

rollback:
  on_failure: "any"
  steps:
    - id: "restore_binary"
      action: "shell"
      params:
        command: "cp /opt/backup/node_exporter_{{ .snapshot_version }} /usr/local/bin/node_exporter"
        timeout: 20s
    - id: "restart_service"
      action: "shell"
      params:
        command: "systemctl restart node_exporter"
        timeout: 30s