4、事故响应体系概述：MTTR、MTBF、SLO、SLI、Error Budget 概念，以及它们与发布门禁的关系

在构建 Argo CD 发布质量门禁之前，必须建立一套可量化、可观测的事故响应体系。这套体系的核心指标与预算机制，直接决定了门禁阈值应该设在哪里、何时应该阻断发布、以及如何衡量发布对系统稳定性的真实影响。

4.1 核心指标定义

事故响应体系围绕四个关键指标展开，它们分别从故障恢复速度、系统固有可靠性、用户感知质量、以及风险预算四个维度描述系统的健康状态。

4.2 指标之间的逻辑关系

这五个指标并非孤立存在，它们构成了一条从用户请求到发布决策的完整链路。下图展示了指标之间的数据流向与决策触发点。

4.3 Error Budget 的计算与消耗模型

Error Budget 是连接 SLO 与发布门禁的桥梁。它的计算方式简单但含义深刻：

Error Budget = (1 - SLO) × 总时间窗口

示例（30 天滚动窗口，SLO = 99.9%）：
Error Budget = (1 - 0.999) × 30 × 24 × 60 = 43.2 分钟

即：在 30 天内，服务最多允许 43.2 分钟的不可用或劣化时间。

Error Budget 的消耗与恢复遵循以下规则：

• 消耗触发： 任何 SLI 跌破 SLO 的事件都会消耗预算，消耗量 = 劣化持续时间 × 劣化程度系数。
• 自动恢复： 当 SLI 恢复到 SLO 以上时，预算停止消耗，但已消耗部分不会自动回补。
• 滚动窗口： 通常使用 28 天或 30 天滚动窗口，历史故障会逐渐移出窗口，释放预算空间。
• 发布门禁阈值： 建议设置两级阈值——警告线（预算剩余 20%） 和 阻断线（预算剩余 5%）。

4.4 发布门禁与事故响应指标的联动策略

在 Argo CD 中实施发布门禁时，需要将上述指标转化为具体的门禁规则。下表展示了不同指标状态下的门禁行为：

4.5 从指标到门禁的落地路径

将事故响应体系与 Argo CD 发布门禁结合，需要经过四个步骤：

1. 定义 SLI 采集： 在 Prometheus 或兼容监控系统中定义服务的核心 SLI（如请求延迟 P99、HTTP 500 错误率、gRPC 调用成功率）。
2. 设定 SLO 目标： 与业务方协商确定 SLO 阈值，并计算对应的 Error Budget 总量。
3. 配置门禁策略： 在 Argo CD 的 PreSync hook 中编写脚本，调用监控 API 获取当前 SLI 和 Error Budget 剩余量，与预设阈值比较后返回 PASS/WARNING/FAIL。
4. 建立反馈闭环： 每次门禁触发阻断后，自动记录 MTTR 和 MTBF 数据，用于后续优化 SLO 和门禁阈值。

以下是一个简化的 PreSync hook 脚本示例，展示如何基于 Error Budget 做出门禁决策：

#!/bin/bash
# argo-pre-sync-error-budget-check.sh

ERROR_BUDGET_REMAINING=$(curl -s http://prometheus:9090/api/v1/query \
  --data-urlencode 'query=error_budget_remaining{service="myapp"}' | jq -r '.data.result[0].value[1]')

if (( $(echo "$ERROR_BUDGET_REMAINING > 0.20" | bc -l) )); then
  echo "Error Budget 充足 (剩余 $ERROR_BUDGET_REMAINING)，允许发布"
  exit 0
elif (( $(echo "$ERROR_BUDGET_REMAINING > 0.05" | bc -l) )); then
  echo "Error Budget 警告 (剩余 $ERROR_BUDGET_REMAINING)，需要人工确认"
  exit 1
else
  echo "Error Budget 耗尽 (剩余 $ERROR_BUDGET_REMAINING)，阻断发布"
  exit 2
fi