4. 错误预算策略：定义、消耗、告警与应对措施

错误预算（Error Budget）是 SRE 实践中最核心的量化管理工具，它将抽象的可靠性目标转化为可操作的运维决策依据。本章详细阐述错误预算的定义、消耗机制、告警阈值设置，以及预算耗尽时的标准应对措施。

4.1 错误预算的定义与计算

错误预算定义为 SLO 目标中允许服务不可靠的时间或请求比例。其核心公式为：

错误预算 = 1 - SLO 目标值
例如：SLO = 99.9% → 错误预算 = 0.1% 的总时间或请求量

错误预算的计量单位取决于 SLO 的类型：

4.2 错误预算的消耗机制

错误预算的消耗直接与服务质量下降事件挂钩。每次服务违反 SLO 事件（如延迟超标、错误率上升、可用性下降）都会消耗预算。消耗速率取决于故障的严重程度和持续时间。

错误预算消耗的典型场景包括：

• 突发故障：短时间内大量请求失败，快速消耗预算。
• 性能退化：延迟缓慢上升，持续消耗预算但不易察觉。
• 容量不足：请求量超过系统处理能力，导致错误率上升。
• 依赖故障：下游服务不可用导致上游请求失败。

4.3 告警阈值设置

告警阈值决定了何时触发运维人员的响应。阈值设置过低会导致告警疲劳，过高则可能错过干预时机。推荐的多级阈值策略如下：

4.4 错误预算耗尽时的应对措施

当错误预算耗尽（消耗达到 100%）时，团队必须立即采取行动以恢复服务可靠性。标准应对措施包括回滚、限流和冻结发布，具体选择取决于故障场景。

4.4.1 回滚（Rollback）

回滚是最直接的应对措施，适用于因代码变更或配置修改导致的可靠性下降。

• 适用场景：新版本发布后立即出现错误率上升或延迟增加。
• 操作步骤：立即将服务回滚到上一个已知稳定的版本。
• 优势：快速恢复，通常几分钟内完成。
• 风险：可能丢失新功能，需确认回滚版本无已知漏洞。

4.4.2 限流（Rate Limiting）

限流适用于因流量突增或容量不足导致的预算耗尽。

• 适用场景：突发流量、DDoS 攻击、上游依赖退化。
• 操作步骤：对非核心请求或高延迟请求实施限流，优先保障核心交易。
• 优势：无需代码变更，可动态调整限流阈值。
• 风险：部分用户请求被拒绝，需配合降级策略。

4.4.3 冻结发布（Freeze Deployments）

冻结发布是预防性措施，适用于预算快速消耗但根因尚未明确的场景。

• 适用场景：预算消耗速率异常、多团队同时发布、故障排查中。
• 操作步骤：暂停所有非紧急的代码发布和配置变更，直到预算恢复安全水平。
• 优势：防止问题恶化，为根因分析争取时间。
• 风险：延迟业务需求交付，需明确解冻条件。

4.5 错误预算恢复与复盘

错误预算耗尽后，团队应执行以下恢复流程：

1. 立即止损：执行上述应对措施（回滚/限流/冻结发布）。
2. 根因分析：在 24 小时内完成故障根因分析（RCA）。
3. 预算恢复：等待滚动窗口自然恢复（如 30 天窗口内无新故障）。
4. 解冻发布：当预算恢复到安全水平（如剩余 30% 以上）时，恢复发布流程。
5. 改进措施：根据故障教训，优化 SLO 定义、告警阈值或应对流程。