4. Error Budget 原理：SLI、SLO、Error Budget 定义、燃烧率、预算耗尽后的策略

Error Budget（错误预算）是 SRE 实践中的核心量化决策机制，它将系统可靠性从“尽力而为”转变为可度量、可交易、可管理的工程指标。本章深入剖析 Error Budget 的完整原理体系，包括 SLI/SLO 定义、预算计算、燃烧率监控以及预算耗尽后的应对策略。

4.1 核心概念定义

术语 英文全称 定义 典型示例
SLI Service Level Indicator 服务等级指标，是衡量服务质量的具体量化指标 请求延迟 P99 ≤ 200ms、可用性 ≥ 99.9%
SLO Service Level Objective 服务等级目标，是 SLI 的目标阈值，代表用户可接受的服务水平 月度可用性 SLO = 99.95%
Error Budget Error Budget 错误预算 = 1 - SLO，代表系统在 SLO 范围内允许的最大不可用时间或错误量 SLO 99.9% → 月度 Error Budget = 43.2 分钟
燃烧率 Burn Rate 错误预算消耗的速度，单位时间内消耗的预算比例 燃烧率 = 1 表示按线性速度消耗预算
关键理解： Error Budget 本质上是“允许失败的空间”。SLO 越严格（如 99.999%），Error Budget 越小（月度约 26 秒），系统容错空间越窄，对部署和变更的约束越强。

4.2 SLI 选择与 SLO 设定原则

4.2.1 SLI 四大黄金信号

  • 延迟（Latency）：请求处理时间，通常关注 P50、P95、P99 分位值
  • 流量（Traffic）：系统负载，如 QPS、RPS、并发连接数
  • 错误（Errors）：显式错误（HTTP 5xx）与隐式错误（返回成功但结果错误）
  • 饱和度（Saturation）：资源使用程度，如 CPU、内存、连接池利用率

4.2.2 SLO 设定方法论

  1. 用户旅程驱动：以用户可感知的关键路径定义 SLI，而非内部组件指标
  2. 目标可达成：SLO 应基于历史数据设定，初期可宽松（如 99.9%），逐步收紧
  3. 分层设定：不同服务等级对应不同 SLO（Critical Tier / Standard Tier / Best Effort）
  4. 时间窗口：通常使用滚动窗口（30 天滑动窗口）计算 SLO 达标率
实战建议： 不要为所有指标设定 SLO。只对用户关键路径上的 3-5 个核心 SLI 设定 SLO，避免指标爆炸导致 Error Budget 管理复杂化。

4.3 Error Budget 计算与消耗机制

4.3.1 计算公式

Error Budget = 1 - SLO

示例：
SLO = 99.9%  →  Error Budget = 0.1%
月度总时间 = 30天 × 24小时 × 60分钟 = 43200 分钟
月度 Error Budget = 43200 × 0.1% = 43.2 分钟

季度 Error Budget = 43200 × 3 × 0.1% = 129.6 分钟

4.3.2 预算消耗规则

  • 消耗来源：任何导致 SLI 未达 SLO 的事件（延迟超时、错误率升高、可用性下降）
  • 消耗速率：按时间窗口内未达标的时间比例累积
  • 重置周期：通常按月度或季度滚动窗口自动重置
  • 多窗口策略：同时监控 1 小时、6 小时、3 天等不同窗口的消耗情况

4.4 燃烧率（Burn Rate）与多窗口告警

燃烧率是 Error Budget 消耗速度的归一化指标，用于提前发现风险，避免预算突然耗尽。

4.4.1 燃烧率定义

燃烧率 = 实际消耗的 Error Budget / 时间窗口内应消耗的 Error Budget

示例：
月度 Error Budget = 43.2 分钟
过去 1 小时消耗了 5 分钟预算
1 小时应消耗预算 = 43.2 / (30 × 24) = 0.06 分钟
燃烧率 = 5 / 0.06 ≈ 83.3 倍

4.4.2 多窗口燃烧率告警策略

窗口长度 燃烧率阈值 预算消耗比例 告警严重程度 响应时间要求
1 小时 ≥ 14.4 ≥ 2% P1（Critical） 立即响应
6 小时 ≥ 6 ≥ 5% P2（High） 15 分钟内
3 天 ≥ 1 ≥ 10% P3（Medium） 1 小时内
30 天 ≥ 0.1 ≥ 50% P4（Low） 24 小时内
注意： 燃烧率告警是 Error Budget 管理的核心防线。单窗口告警可能误报，多窗口组合告警（如 1h + 6h 同时触发）才能准确识别持续故障。

4.5 Error Budget 耗尽后的策略

当 Error Budget 耗尽（剩余为 0 或负值），SRE 团队必须执行预定义的降级与恢复策略，以保护用户服务体验。

4.5.1 策略分级

预算状态 剩余比例 策略 具体措施
健康 > 50% 正常部署 允许所有变更，正常发布节奏
警告 20% - 50% 减速部署 限制并发部署数，增加变更审批
危险 0% - 20% 冻结部署 停止所有非紧急变更，仅允许回滚
耗尽 ≤ 0% 强制恢复 启动自动回滚、扩容、降级非核心功能

4.5.2 预算耗尽后的具体行动

  1. 立即停止所有部署流水线：CI/CD 自动阻断，仅允许回滚操作
  2. 启动自动回滚：将最近一次变更回滚到上一个稳定版本
  3. 触发弹性伸缩：自动扩容以吸收异常流量，降低错误率
  4. 降级非核心功能：关闭推荐、日志、分析等非关键服务，保障核心链路
  5. 启动事故响应流程：创建事故群组，召集相关团队进行根因分析
  6. 生成事后报告：记录预算耗尽原因、影响范围、恢复措施
关键原则： Error Budget 耗尽不是“失败”，而是系统设计的正常保护机制。它强制团队在可靠性风险与发布速度之间做出理性选择，避免无限制的变更导致用户受损。

4.6 Error Budget 与事件驱动 IaC 的联动机制

在事件驱动基础设施即代码（IaC）架构中，Error Budget 状态作为关键事件源，驱动部署流水线的自动决策：

  • 事件生产者：监控系统（Prometheus + Alertmanager）持续计算 Error Budget 状态
  • 事件通道：通过 Webhook 或消息队列（Kafka / NATS）发布预算状态变更事件
  • 事件消费者：CI/CD 系统（ArgoCD / Tekton）订阅事件，根据预算状态调整部署策略
  • 自动决策：预算健康 → 正常部署；预算警告 → 限速部署；预算耗尽 → 阻断部署
Error Budget 与事件驱动 IaC 联动架构 监控与指标采集 Prometheus + SLI 采集 实时计算 Error Budget 预算状态计算引擎 多窗口燃烧率计算 状态判定（健康/警告/耗尽） 事件发布通道 Webhook / Kafka / NATS 预算状态变更事件 部署策略决策器 订阅预算状态事件 匹配策略规则 CI/CD 执行引擎 ArgoCD / Tekton / Jenkins 执行部署/回滚/阻断 反馈与闭环 部署结果反馈至监控 更新 Error Budget 状态 联动流程说明： 1. 监控系统实时计算 Error Budget 剩余比例与燃烧率 2. 预算状态变更时，通过事件通道发布状态事件（健康/警告/危险/耗尽） 3. 部署策略决策器根据事件类型匹配对应策略（正常部署/限速/冻结/回滚） 4. CI/CD 引擎执行策略，并将结果反馈回监控系统，形成闭环

4.7 实战案例：Error Budget 驱动的自动部署阻断

场景： 某电商平台核心交易服务 SLO = 99.95%（月度 Error Budget = 21.6 分钟）。下午 14:00 开始，由于上游数据库抖动，错误率持续升高。

时间 事件 Error Budget 剩余 燃烧率（1h） 系统动作
14:00 数据库抖动开始 100% 0.5 正常监控
14:15 错误率持续上升 85% 8.2 触发 P2 告警
14:30 错误率峰值 60% 22.5 触发 P1 告警，部署限速
14:45 预算消耗达 45% 55% 18.0 冻结所有部署，仅允许回滚
15:00 数据库恢复 50% 3.5 燃烧率下降，解除冻结
15:30 错误率恢复正常 48% 0.8 恢复正常部署节奏
经验总结： 该案例中，Error Budget 机制在 30 分钟内自动阻断了一次可能引发更大故障的部署操作。如果没有预算驱动，团队可能在故障期间继续发布新版本，导致问题复杂化。

4.8 本章小结

  • SLI 是衡量可靠性的量化指标，SLO 是目标阈值，Error Budget = 1 - SLO 代表允许的失败空间
  • 燃烧率 是多窗口告警的核心指标，用于提前发现预算快速消耗风险
  • 预算耗尽策略 包括部署冻结、自动回滚、弹性伸缩、功能降级等分级措施
  • 事件驱动联动 将 Error Budget 状态作为事件源，驱动 IaC 部署流水线的自动决策
  • Error Budget 不是限制创新的枷锁，而是保障服务可靠性的理性决策工具
← 上一章 📖 返回目录 下一章 →