核心概念：SLO、SLI 与错误预算的定义及数学关系

在构建 Kubernetes 存储组件的可观测性体系之前，必须精确理解三个核心概念：SLI（服务等级指标）、SLO（服务等级目标）和错误预算（Error Budget）。它们是 SRE 方法论中量化可靠性的基石，也是后续面板化呈现的数据模型基础。

1. 三者的定义与职责

2. 数学关系与公式

三者的数学关系可以精确表达为以下公式：

错误预算 = 1 - SLO（以小数表示）

错误预算消耗率 = (1 - SLI) / (1 - SLO) × 100%

剩余错误预算 = 错误预算 - 已消耗错误预算

以 Kubernetes 存储场景为例，假设一个 CSI 驱动定义的 SLO 为 99.95%（月度）：

• 月度总时间窗口：30 天 × 24 小时 × 60 分钟 = 43,200 分钟
• 错误预算总量：43,200 分钟 × (1 - 0.9995) = 43,200 × 0.0005 = 21.6 分钟
• SLI 测量值：假设本月实际成功率为 99.90%，则失败率为 0.10%
• 已消耗错误预算：43,200 分钟 × 0.001 = 43.2 分钟
• 错误预算消耗率：0.10% / 0.05% = 200%（已超支）

3. SLI → SLO → 错误预算的闭环流程

下图展示了从原始指标采集到错误预算决策的完整数据流：

4. 存储组件特有的 SLI 维度

Kubernetes 存储组件的 SLI 不能仅用简单的"可用性"衡量，需要从多个维度定义：

5. 错误预算的消耗与恢复模型

错误预算的消耗不是线性的，需要理解其时间窗口滑动特性：

• 滑动窗口机制：错误预算通常基于一个滚动时间窗口（如 30 天）计算，旧的失败事件会随着时间推移被移出窗口。
• 消耗速率：单次重大故障可能瞬间消耗掉整个月的错误预算；而微小的持续失败则缓慢消耗。
• 恢复条件：错误预算不会"恢复"，而是通过滑动窗口将旧的失败事件移出计算范围，使剩余预算重新增加。

6. 从 SLI 到错误预算的 PromQL 实现

以下 PromQL 查询展示了如何在 Prometheus 中计算存储组件的错误预算消耗率：

# 1. 计算 SLI：CSI 驱动请求成功率（过去 30 天）
sum(rate(csi_grpc_requests_total{status="OK"}[30d]))
/
sum(rate(csi_grpc_requests_total[30d]))

# 2. 计算错误预算消耗率（SLO = 99.95%）
(1 - (sum(rate(csi_grpc_requests_total{status="OK"}[30d]))
      /
      sum(rate(csi_grpc_requests_total[30d]))))
/
(1 - 0.9995)
*
100

# 3. 计算剩余错误预算（以分钟表示）
(1 - 0.9995) * 43200  -- 总错误预算 21.6 分钟
-
((1 - (sum(rate(csi_grpc_requests_total{status="OK"}[30d]))
       /
       sum(rate(csi_grpc_requests_total[30d]))))
 *
 43200)