📚 课程目录第4章监控指标体系设计

4. 监控驱动的核心理念：定义健康指标、基于SLO/SLI的决策、自动化门控、可观测性闭环

监控驱动（Monitoring-Driven）并非简单地在升级前看一眼仪表盘，而是一种将可观测性数据作为升级流程中唯一决策依据的工程实践。其核心在于将主观判断转化为客观指标，并通过自动化门控实现“数据决策、指标放行”。本章将拆解这一理念的四个支柱：健康指标定义、SLO/SLI决策模型、自动化门控机制以及可观测性闭环。

4.1 定义集群健康指标：从“感觉正常”到“量化正常”

在升级前，必须明确回答：“什么样的集群状态算健康？” 健康指标（Health Indicators）是监控驱动的基石，通常分为三个层级：

层级	关注对象	典型指标示例	采集源
控制面健康	API Server、etcd、Scheduler、Controller Manager	API Server 请求错误率 < 0.1%、etcd 领导者变更次数 < 1次/5min、etcd 磁盘 fsync 延迟 P99 < 10ms	/metrics、etcd metrics、kube-state-metrics
节点健康	Kubelet、容器运行时、节点资源	节点 NotReady 比例 < 2%、节点内存压力状态为 False、Kubelet PLEG 重连次数 < 5次/h	Node Exporter、kubelet /metrics/resource
工作负载健康	Pod、Deployment、Service、Ingress	Pod CrashLoopBackOff 数量 = 0、Deployment 可用副本比例 = 100%、Ingress 5xx 比例 < 1%	kube-state-metrics、cAdvisor、Blackbox Exporter

实践要点：健康指标必须满足“MECE”原则（Mutually Exclusive, Collectively Exhaustive）。避免使用“CPU 使用率 < 80%”这类模糊指标，应优先使用错误率、延迟、可用副本数等直接反映服务能力的指标。

4.2 基于 SLO/SLI 的决策模型：用“服务等级”说话

健康指标回答“组件是否运行”，而 SLO/SLI 回答“服务是否达标”。SLI（Service Level Indicator）是实际测量的服务质量指标，SLO（Service Level Objective）是目标阈值。在升级场景中，我们使用“升级期间 SLO 燃烧率”作为核心决策依据。

典型升级 SLO 定义示例：

SLI： 集群核心 API 请求的成功率（2xx/3xx 响应）
SLO： 在升级窗口内，每分钟滑动窗口的成功率 ≥ 99.9%
燃烧率告警： 若 5 分钟内成功率降至 99.0%（燃烧率 > 10x），则触发自动回滚

决策逻辑：

IF (当前 SLI 值 >= SLO 目标值) THEN
    允许继续升级（门控通过）
ELSE IF (当前 SLI 值 < SLO 目标值) AND (燃烧率 < 紧急阈值) THEN
    暂停升级，等待自愈或人工介入
ELSE
    触发自动回滚（门控阻断）
END IF

4.3 自动化门控：升级流程的“交通信号灯”

自动化门控（Automated Gating）是将 SLO/SLI 决策模型固化为代码，在 CI/CD Pipeline 或 Operator 中执行。门控通常分为三个阶段：

预检门控（Pre-flight Gate）： 在升级操作执行前，检查集群当前是否满足升级前置条件。例如：etcd 集群健康、所有节点 Ready、无 Pending Pod。
执行门控（In-flight Gate）： 在升级过程中，每升级一个节点或一个组件后，等待 SLI 稳定窗口（如 5 分钟），若指标正常则继续，否则暂停或回滚。
后验门控（Post-flight Gate）： 升级完成后，运行一个完整的“健康验收”周期（如 30 分钟），确认所有 SLO 达标后，才标记升级成功。

门控类型	触发时机	典型检查项	失败动作
预检门控	升级开始前	etcd 健康、API Server 延迟、节点状态	阻止升级，输出失败原因
执行门控	每升级一个批次后	Pod 启动成功率、Ingress 错误率、节点 NotReady 比例	暂停升级，等待自愈或自动回滚
后验门控	升级完成后	全量 SLO 燃烧率、端到端探测成功率	标记升级失败，触发回滚流程

关键设计原则：门控逻辑必须幂等且可重入。如果门控因网络抖动误报，应允许人工确认后重新执行门控检查，而不是直接回滚。同时，门控的“通过阈值”应留有安全余量（例如 SLO 为 99.9%，门控阈值设为 99.5%），避免因微小波动导致频繁回滚。

4.4 可观测性闭环：从“看见”到“自动修复”

可观测性闭环（Observability Loop）是监控驱动的最终形态。它不仅仅是展示数据，而是将告警、分析、决策、执行串联成一个自动化的反馈回路。

闭环的四个阶段：

观测（Observe）： Prometheus 采集指标，Grafana 展示仪表盘，Loki 收集日志，Tempo 追踪链路。
分析（Analyze）： 通过 PromQL 计算 SLO 燃烧率、异常检测算法识别指标突变。
决策（Decide）： 自动化门控根据分析结果判断“继续/暂停/回滚”。
执行（Act）： 调用 Kubernetes API 执行回滚、调整升级批次大小、或触发自愈脚本。

4.5 核心理念总结：从“人肉运维”到“数据驱动”

监控驱动的核心理念可以浓缩为以下三点：

指标化： 将一切主观判断转化为可量化的 Prometheus 指标。
契约化： 通过 SLO/SLI 建立服务等级契约，升级流程必须遵守该契约。
自动化： 门控和闭环将“人肉盯屏”转变为“机器决策”，大幅降低人为失误风险。