SLI指标波动触发SLO作业模板自动降级方案 - 第1节

1.1 SRE 核心原则:从“救火”到“工程化”的转变

站点可靠性工程(SRE)由 Google 提出,核心思想是用软件工程的思维解决运维问题。与传统运维依赖人工“救火”不同,SRE 强调通过自动化、量化指标和风险预算来管理生产环境。

1.1.1 SRE 的四大核心原则

原则 核心描述 对可观测性的影响
拥抱风险 系统 100% 可用既不现实也不经济;通过错误预算(Error Budget)量化可接受的风险。 需要精确的 SLI 来度量错误率,从而计算错误预算消耗。
服务等级目标(SLO) 定义用户满意的可靠性阈值,如“99.9% 的请求延迟 < 200ms”。 SLO 是可观测性仪表盘的核心基准线,触发告警和自动决策。
减少琐事(Toil) 通过自动化消除重复、手动、无长期价值的运维操作。 自动化降级、自愈、扩缩容等操作依赖可观测性数据的实时反馈。
自动化 用代码和工具替代人工操作,实现“无人值守”运维。 可观测性平台是自动化的“眼睛”,提供决策输入和效果验证。
关键认知: SRE 不是“不出故障”,而是“在可接受的故障率下,最快地恢复服务并自动化处理流程”。错误预算(Error Budget) = 1 - SLO,当预算耗尽时,应停止发布新功能,优先提升可靠性。

1.2 SLI / SLO / SLA:可靠性量化的“黄金三角”

这三个概念是 SRE 可观测性的基石,它们层层递进,将模糊的“系统稳定”转化为可度量、可管理的数字。

1.2.1 定义与关系

  • SLI(服务等级指标):直接衡量服务质量的原始指标。例如:请求延迟、错误率、吞吐量、饱和度。
  • SLO(服务等级目标):基于 SLI 设定的目标阈值。例如:“过去 30 天内,99.9% 的请求延迟低于 200ms”。
  • SLA(服务等级协议):对外承诺的合同条款,通常比 SLO 更宽松,包含惩罚条款。
核心公式: 错误预算 = 1 - SLO。例如:SLO 为 99.9%,则每月允许的不可用时间为 0.1% × 30天 × 24小时 × 60分钟 = 43.2 分钟。

1.2.2 典型 SLI 指标分类

类别 常用 SLI 测量方式
延迟 P50 / P95 / P99 响应时间 从请求到达至返回完整响应的时间
错误率 HTTP 5xx 比例 / 业务错误码比例 错误请求数 / 总请求数
吞吐量 QPS(每秒查询数) / TPS(每秒事务数) 单位时间成功处理的请求数
饱和度 CPU 使用率 / 内存使用率 / 连接池占用率 当前使用量 / 最大容量
SLI / SLO / SLA 层级关系与错误预算 SLA(服务等级协议) 对外合同承诺,通常比 SLO 宽松,含惩罚条款 SLO(服务等级目标) 内部可靠性目标,如:99.9% 请求延迟 < 200ms SLI(服务等级指标) 原始测量指标:延迟、错误率、吞吐量、饱和度 错误预算 = 1 - SLO | 示例:SLO=99.9% → 每月允许故障时间 ≈ 43.2 分钟

1.3 可观测性三大支柱:指标、日志、链路

可观测性(Observability)是 SRE 的“感官系统”。三大支柱分别从不同维度描述系统状态,缺一不可。

1.3.1 三大支柱对比

支柱 数据形态 典型用途 SRE 场景示例
指标(Metrics) 数值型时间序列 趋势监控、告警、容量规划 CPU 使用率突增触发告警
日志(Logs) 非结构化/半结构化文本 故障根因分析、审计、调试 查询 500 错误日志中的具体堆栈
链路(Traces) 分布式请求上下文 端到端延迟分析、依赖关系发现 定位跨微服务调用中的慢节点

1.3.2 三大支柱的协同工作流

在实际 SRE 场景中,三大支柱并非孤立使用,而是形成“告警 → 定位 → 分析”的闭环:

  1. 指标告警:SLI 指标(如 P99 延迟)突破 SLO 阈值,触发告警。
  2. 日志定位:SRE 查看告警时间窗口内的错误日志,找到具体异常请求。
  3. 链路分析:通过 Trace ID 追踪该请求的完整调用链,定位到故障微服务。
常见误区: 只关注指标而忽略日志和链路,会导致“知道系统出问题了,但不知道哪里出问题”。三大支柱必须打通,才能实现真正的可观测性。
可观测性三大支柱协同工作流 指标(Metrics) 数值型时间序列 趋势 / 告警 / 容量 日志(Logs) 半结构化文本 根因分析 / 审计 链路(Traces) 请求上下文 延迟分析 / 依赖 SRE 故障排查闭环 ① 指标告警:P99 延迟突破 SLO → 触发告警 ② 日志定位:查询错误日志,找到异常请求 ID ③ 链路分析:通过 Trace ID 追踪完整调用链,定位故障节点

1.4 本章小结:SRE 可观测性基础与课程定位

本章建立了 SRE 可观测性的核心知识框架:

  • SRE 核心原则:拥抱风险、SLO 驱动、减少琐事、自动化。
  • SLI/SLO/SLA:从原始指标到内部目标再到对外承诺的量化体系,错误预算是自动决策的“货币”。
  • 可观测性三大支柱:指标(趋势与告警)、日志(根因分析)、链路(依赖与延迟),三者协同形成完整观测视图。