2. Kubernetes集群误差预算模型：集群可用性模型、组件故障域划分、误差预算计算逻辑
误差预算（Error Budget）是SRE实践中的核心量化工具，它将系统可用性目标转化为可操作的工程决策依据。在Kubernetes集群中，由于组件繁多、依赖关系复杂，必须建立分层、分域的误差预算模型，才能准确评估集群的真实健康状态并指导资源配置调优。
2.1 集群可用性模型
Kubernetes集群的可用性不能简单视为一个单点指标，而应建模为控制面可用性与数据面可用性的联合概率乘积。控制面负责调度、API响应、状态同步；数据面负责Pod运行、网络连通、存储挂载。两者任意一方不可用，都会导致集群服务受损。
| 层面 | 核心组件 | 可用性度量方式 | 典型SLO目标（生产级） |
|---|---|---|---|
| 控制面 | kube-apiserver、etcd、kube-scheduler、kube-controller-manager | API请求成功率（2xx/5xx）、etcd领导者选举稳定性、调度队列深度 | 99.99%（月度） |
| 数据面 | kubelet、容器运行时、CNI插件、CSI插件、kube-proxy | Pod就绪率、节点心跳上报率、网络吞吐异常率 | 99.95%（月度） |
| 全局联合 | 控制面 × 数据面 | 联合可用性 = 控制面可用性 × 数据面可用性 | 99.94%（月度） |
实践要点：联合可用性模型要求两个层面同时满足各自SLO。如果控制面达到99.99%但数据面仅99.90%，联合可用性为99.89%，低于目标值。因此，误差预算的分配必须覆盖两个层面，不能只关注API响应。
2.2 组件故障域划分
故障域（Failure Domain）是指一组共享单一故障点的组件集合。在Kubernetes集群中，合理的故障域划分有助于精确计算误差预算的消耗来源，避免“一个组件故障导致全局预算扣减”的粗粒度问题。
我们将集群组件划分为以下五个故障域：
- 存储域：etcd集群、持久化存储后端（如Ceph、Longhorn）。故障模式：磁盘IO hang、etcd领导者分裂、存储卷挂载超时。
- 网络域：CNI插件、kube-proxy、DNS（CoreDNS）、Ingress Controller。故障模式：网络策略冲突、DNS解析超时、Service后端端点更新延迟。
- 调度域：kube-scheduler、kube-controller-manager。故障模式：调度器队列阻塞、控制器循环卡死、资源配额计算错误。
- 节点域：kubelet、容器运行时（containerd/cri-o）、节点操作系统。故障模式：kubelet心跳丢失、节点NotReady、OOM Killer触发。
- 接入域：kube-apiserver、认证授权插件（RBAC/OIDC）、审计日志。故障模式：API限流、证书过期、RBAC缓存不一致。
故障域隔离原则：每个故障域内的组件应尽量部署在不同物理节点或可用区。例如，etcd成员分布在3个不同可用区，kube-apiserver通过负载均衡器分发到多个副本。这样，单个故障域的失效不会级联到其他域。
2.3 误差预算计算逻辑
误差预算的计算遵循“总预算 = 总时间窗口 - 允许不可用时间”的基本公式。在Kubernetes集群场景下，我们需要按故障域和SLO层级进行分层计算。
2.3.1 基础计算公式
误差预算（分钟） = 时间窗口总分钟数 × (1 - SLO目标)
例如：
- 月度时间窗口：30天 × 24小时 × 60分钟 = 43,200分钟
- 控制面SLO：99.99%
- 控制面月度误差预算 = 43,200 × (1 - 0.9999) = 43,200 × 0.0001 = 4.32分钟
- 数据面SLO：99.95%
- 数据面月度误差预算 = 43,200 × (1 - 0.9995) = 43,200 × 0.0005 = 21.6分钟2.3.2 按故障域分配预算
将总预算按故障域的重要性权重进行分配。权重由组件关键程度和故障影响范围决定。
| 故障域 | 权重 | 月度预算（分钟） | 说明 |
|---|---|---|---|
| 存储域 | 30% | 1.30 | etcd不可用直接导致集群不可写 |
| 网络域 | 25% | 1.08 | DNS/CNI故障影响服务发现与通信 |
| 调度域 | 15% | 0.65 | 调度延迟不影响已有Pod，但影响扩缩容 |
| 节点域 | 20% | 0.86 | 节点级故障影响局部Pod |
| 接入域 | 10% | 0.43 | API限流影响运维操作，不影响运行中Pod |
| 合计 | 100% | 4.32 | 与控制面总预算一致 |
2.3.3 预算消耗与燃烧速率
误差预算的消耗不是线性的，需要引入燃烧速率（Burn Rate）来监控预算消耗速度。燃烧速率定义为：
燃烧速率 = 实际不可用时间 / 允许不可用时间（按当前时间窗口比例折算）
例如：
- 月度预算：4.32分钟
- 过去7天实际不可用：2分钟
- 7天占月度比例：7/30 ≈ 23.3%
- 7天允许预算：4.32 × 23.3% ≈ 1.01分钟
- 燃烧速率 = 2 / 1.01 ≈ 1.98
燃烧速率 > 1 表示预算消耗速度超过预期，需要触发告警或降级操作。
关键告警阈值：建议设置多级燃烧速率告警：
- 警告（Warning）：燃烧速率 > 1.5，持续超过1小时 → 触发人工排查。
- 严重（Critical）：燃烧速率 > 3，持续超过30分钟 → 自动触发回滚或扩容。
- 灾难（Disaster）：燃烧速率 > 10，持续超过5分钟 → 立即降级非核心服务。
2.4 误差预算的消费与恢复机制
误差预算不是静态的，它随着时间窗口滚动而自动恢复。理解消费与恢复的平衡，是调优资源配置的前提。
- 消费事件：任何导致SLI低于SLO阈值的事件都会消耗预算。例如：API 5xx错误率超过0.01%、etcd领导者选举超时、Pod就绪率低于99.95%。
- 恢复机制：每个时间窗口（通常为1分钟）结束后，如果该分钟内的SLI达标，则预算不会额外消耗；同时，随着时间窗口向前滚动，旧的消费记录会逐渐移出窗口，预算余额会“恢复”。
- 预算耗尽后果：当误差预算耗尽时，应触发冻结发布或降级非关键功能，直到预算通过时间窗口滚动恢复到安全水位（通常为预算总额的50%以上）。
资源配置调优启示：如果某个故障域的误差预算经常在月中就耗尽，说明该域的资源配置不足或架构存在脆弱点。例如，网络域预算频繁耗尽，应优先排查CNI插件版本、DNS缓存配置、Service后端健康检查间隔等参数。预算台账是资源配置调优的“仪表盘”，而不是事后统计报表。
2.5 小结
本章建立了Kubernetes集群误差预算模型的三个核心支柱：
- 可用性模型：控制面与数据面联合概率乘积，避免单一指标误导。
- 故障域划分：存储、网络、调度、节点、接入五个独立域，实现精细化预算核算。
- 计算逻辑：基础公式 + 权重分配 + 燃烧速率监控，形成闭环的预算管理流程。