📚 课程目录第4章自愈剧本架构

4. 自愈剧本架构：事件驱动、Webhook触发、自动化执行链路

自愈剧本是SLO自愈体系的核心执行单元。它接收Grafana告警事件，通过Webhook触发，沿事件驱动链路完成故障诊断、决策执行与闭环反馈。本章拆解其架构层次与关键组件。

4.1 架构总览：三层事件驱动模型

自愈剧本采用事件源 → 决策引擎 → 执行器三层架构，每一层职责清晰，通过标准化接口解耦。

4.2 事件驱动核心：Webhook接收器

Grafana Alertmanager通过配置Webhook接收器将告警推送至自愈剧本网关。接收器是事件驱动链路的入口，负责协议适配与初步校验。

组件	职责	技术选型
HTTP Listener	监听Grafana Webhook POST请求	FastAPI / Flask / Gin
Payload Parser	解析Grafana告警JSON结构	Pydantic / dataclass
Signature Validator	校验Webhook签名防止伪造	HMAC-SHA256
Rate Limiter	控制告警洪峰时的入站速率	Bucket / Redis

关键配置示例： Grafana Alertmanager Webhook接收器配置

# Grafana Alertmanager 配置片段
receivers:
  - name: 'self-healing-webhook'
    webhook_configs:
      - url: 'http://self-healing-gateway:8000/webhook/alert'
        send_resolved: true
        http_config:
          basic_auth:
            username: 'healer'
            password: '${WEBHOOK_SECRET}'

4.3 决策引擎：剧本匹配与条件评估

决策引擎是自愈剧本的大脑。它接收标准化告警事件，执行以下步骤：

告警去重与聚合：基于告警指纹（fingerprint）合并重复事件，避免风暴。
上下文增强：从CMDB、监控系统、日志平台拉取关联数据（如主机角色、服务依赖、历史故障）。
剧本匹配：根据告警标签（alertname、severity、service）匹配预定义剧本。
条件评估：执行剧本前置条件（如SLO剩余预算、维护窗口、熔断状态）。
执行计划生成：输出包含动作序列、回滚策略、超时参数的JSON计划。

4.4 自动化执行链路：从计划到闭环

执行器层将决策引擎生成的执行计划转换为具体操作。链路包含以下阶段：

阶段	动作	超时控制	失败处理
预检查	验证目标状态、资源可用性	30s	中止剧本，上报失败
执行	调用Ansible/K8s API/Shell	300s	触发回滚策略
验证	检查恢复指标、健康检查	120s	重试或升级告警
反馈	写入告警注释、更新Grafana状态	15s	记录日志，不影响主流程

最佳实践： 每个执行阶段都应具备幂等性设计。例如重启服务操作应确保多次执行不会产生副作用，以便在超时重试时安全重复。

4.5 事件驱动链路完整示例

以下是一个完整的自愈剧本执行链路，从Grafana告警到闭环反馈：

# 1. Grafana Alertmanager 发送Webhook
POST /webhook/alert HTTP/1.1
Content-Type: application/json

{
  "receiver": "self-healing-webhook",
  "status": "firing",
  "alerts": [{
    "labels": {
      "alertname": "HighErrorRate",
      "service": "payment-api",
      "severity": "critical"
    },
    "annotations": {
      "summary": "Error rate > 5% for 5 minutes"
    },
    "startsAt": "2025-03-20T10:30:00Z"
  }]
}

# 2. 决策引擎匹配剧本：payment-api_high_error_rate
# 3. 条件评估通过（SLO剩余预算 > 10%，非维护窗口）
# 4. 执行计划生成：
{
  "playbook_id": "pb-payment-001",
  "actions": [
    {"type": "precheck", "target": "payment-api-pods"},
    {"type": "exec", "tool": "kubectl", "args": ["rollout", "restart", "deploy/payment-api"]},
    {"type": "verify", "metric": "error_rate", "threshold": 1.0}
  ],
  "rollback": {"type": "exec", "tool": "kubectl", "args": ["rollout", "undo", "deploy/payment-api"]},
  "timeout": 300
}

# 5. 执行器执行并反馈结果
# 6. Grafana告警注释更新：已触发自愈剧本pb-payment-001，状态：成功

注意： 自愈剧本不应盲目执行。必须为每个剧本配置熔断机制：当同一告警在短时间内重复触发超过阈值（如3次/15分钟），应自动暂停自愈并升级为人工处理，防止故障扩散。

4.6 架构关键设计原则

松耦合：事件源、决策引擎、执行器通过消息队列（如Redis Streams / Kafka）异步通信，任一组件故障不影响其他组件。
可观测性：每个环节输出结构化日志和指标（如剧本执行耗时、成功率、触发次数），便于Grafana监控自愈系统本身健康度。
安全隔离：Webhook接收器与执行器分离部署，执行器运行在受限容器中，仅暴露必要API。
灰度执行：支持按比例（如10%流量）或按标签（如canary版本）执行自愈动作，降低全量风险。