4. 剧本（Playbook）设计原则：原子性、幂等性、可观测性、可回滚性、容错性

自愈剧本是故障恢复的“执行代码”，其设计质量直接决定 MTTR 压降的成败。一个健壮的剧本必须遵循五大核心原则：原子性、幂等性、可观测性、可回滚性和容错性。这五项原则共同构成了剧本的可靠性基石，确保自动化恢复流程在复杂生产环境中可预测、可审计、可止损。

4.1 五大原则概览与对比

下表从定义、核心目标、失败后果三个维度，对五大原则进行横向对比，帮助团队在设计阶段建立统一的评估标准。

4.2 原子性设计：全有或全无

原子性要求剧本的每个步骤要么全部成功，要么全部不执行。在分布式系统中，原子性通过“事务补偿”机制实现，而非依赖分布式事务。

4.2.1 原子性实现策略

• 步骤分组（Step Grouping）：将逻辑上不可分割的操作封装为一个原子单元。例如，“摘流量 → 重启进程 → 挂回流量”必须作为一个原子组。
• 状态检查点（Checkpoint）：在每个原子组执行前记录当前状态快照，执行失败时根据快照进行补偿回滚。
• 超时熔断：为每个原子步骤设置超时阈值，超时后立即触发补偿流程，避免长时间阻塞。

# 原子性剧本示例：重启故障节点
steps:
  - id: pre_check
    action: check_node_health
    timeout: 10s
    on_failure: rollback_all

  - id: atomic_group_restart
    steps:
      - action: drain_connections
        timeout: 30s
      - action: stop_service
        timeout: 15s
      - action: start_service
        timeout: 30s
      - action: health_check
        timeout: 20s
    on_failure: rollback_group

  - id: post_check
    action: verify_cluster_status
    timeout: 10s
    on_failure: rollback_all

4.3 幂等性设计：重复执行无副作用

幂等性是自愈剧本最重要的设计原则。生产环境中，网络重试、调度器重复触发、人工手动重试都是常见场景，剧本必须保证多次执行结果一致。

4.3.1 幂等性实现模式

4.4 可观测性设计：执行过程全透明

可观测性确保剧本执行不再是黑盒。SRE 团队需要实时了解“哪个步骤正在执行”、“执行结果如何”、“失败原因是什么”。

4.4.1 可观测性三支柱在剧本中的应用

• 日志（Logging）：每个步骤执行前后输出结构化日志，包含剧本 ID、步骤 ID、输入参数、输出结果、耗时。日志级别区分 INFO（正常流程）、WARN（重试/降级）、ERROR（失败）。
• 指标（Metrics）：暴露剧本执行计数器（成功/失败/超时）、步骤耗时分布、回滚触发次数。指标用于监控剧本自身健康度。
• 链路追踪（Tracing）：为每次剧本执行生成唯一 Trace ID，串联所有步骤调用链，支持跨服务追踪依赖调用。

# 结构化日志示例
{
  "timestamp": "2025-03-21T14:30:00.123Z",
  "level": "INFO",
  "playbook_id": "pb_restart_nginx_001",
  "step_id": "drain_connections",
  "status": "success",
  "duration_ms": 1520,
  "node": "web-03",
  "connections_drained": 12
}

4.5 可回滚性设计：快速止血，最小化爆炸半径

可回滚性是自愈剧本的最后一道防线。当剧本执行产生预期外影响时，必须能在秒级内恢复到执行前状态。

4.5.1 回滚策略对比

4.6 容错性设计：剧本自身的韧性

容错性要求剧本在依赖服务异常、网络分区、资源不足等场景下仍能优雅执行，而不是成为新的故障点。

4.6.1 容错性设计要点

• 超时控制：每个步骤设置独立超时，避免单个步骤阻塞整个剧本。超时后触发重试或降级逻辑。
• 重试策略：采用指数退避 + 抖动（Exponential Backoff + Jitter），避免重试风暴。设置最大重试次数，超过后标记为失败。
• 降级路径：当依赖服务不可用时，剧本应能切换到降级模式。例如，告警服务不可用时，将告警写入本地文件，待服务恢复后补发。
• 断路器（Circuit Breaker）：对频繁失败的依赖服务启用断路器，避免剧本反复调用已故障的服务。

# 容错性配置示例
retry:
  max_attempts: 3
  backoff: exponential
  initial_interval: 1s
  max_interval: 30s
  jitter: 0.2

circuit_breaker:
  failure_threshold: 5
  recovery_timeout: 60s
  half_open_max_requests: 3

timeout:
  default: 30s
  critical_steps: 60s

4.7 五大原则协同设计：自愈剧本架构图

下图展示了五大原则在自愈剧本执行引擎中的协同关系。原子性保障步骤完整性，幂等性支持安全重试，可观测性提供执行透明度，可回滚性提供安，容错性保障剧本自身韧性。

4.8 设计原则检查清单

在剧本上线前，使用以下检查清单逐项验证，确保五大原则均已落实。