2. 值班台可靠性核心指标:MTTR、MTBF、SLA/SLO/SLI 定义、故障响应时间、升级率、误报率

值班台是 SRE 体系的第一道防线,其可靠性直接决定故障发现与处置的初始效率。本章围绕 7 个核心指标展开,建立可量化、可调优的评估框架。每个指标都对应值班台的一个关键行为维度,缺失任何一个都会导致评分模型失真。

2.1 指标全景与分类

值班台可靠性指标可划分为 稳定性、响应性、准确性 三大类。下表列出每个指标的定义、计算口径与典型阈值参考。

指标 分类 定义 计算口径 参考阈值
MTBF 稳定性 平均无故障时间,衡量系统连续正常运行的时长 总运行时间 / 故障次数 > 720 h(30 天)
MTTR 响应性 平均修复时间,从故障确认到恢复的总耗时 总修复时间 / 故障次数 < 15 min
故障响应时间 响应性 从告警触发到值班人员首次确认的时间 首次确认时间 - 告警时间 < 5 min
升级率 准确性 值班台无法独立解决、需升级到二线/三线的故障比例 升级故障数 / 总故障数 < 20%
误报率 准确性 告警系统中非真实故障的告警占比 误报数 / 总告警数 < 10%
SLA 承诺 服务等级协议,对外承诺的可用性目标 合同约定(如 99.9%) 按业务定
SLO / SLI 度量 服务等级目标与指标,SLO 是内部目标,SLI 是实际测量值 SLI = 成功请求数 / 总请求数 SLO ≥ SLA + 0.1%
调优要点: MTTR 与故障响应时间容易混淆。故障响应时间只计算“确认”阶段,MTTR 包含确认、诊断、修复、验证全流程。在值班台评分中,响应时间权重应高于 MTTR,因为值班台的核心职责是快速响应而非深度修复。

2.2 MTTR 与 MTBF:稳定性的双轴

MTTR 和 MTBF 共同构成值班台可靠性的基础坐标系。MTBF 反映系统本身的健壮性,MTTR 反映值班台的处置效率。两者在评分模型中通常以加权组合形式出现:

# 值班台稳定性评分(示例公式)
stability_score = w1 * normalize(MTBF) + w2 * normalize(1/MTTR)

# 权重建议
w1 = 0.4  # 系统稳定性权重
w2 = 0.6  # 处置效率权重(值班台可控性更高)

实际调优时需注意:MTBF 过高可能掩盖值班台响应退化问题,MTTR 过低可能牺牲修复质量。建议设置 MTTR 下限阈值(如 5 min),防止“秒级确认但未真正修复”的虚假达标。

2.3 SLA / SLO / SLI 三层模型

值班台可靠性必须与业务承诺对齐。SLA、SLO、SLI 构成从承诺到度量的三层金字塔:

  • SLA(Service Level Agreement):对外合同,不可协商,违约有赔偿。例如“月度可用性 ≥ 99.9%”。
  • SLO(Service Level Objective):内部目标,比 SLA 更严格,为 SLA 提供缓冲。例如“月度可用性 ≥ 99.95%”。
  • SLI(Service Level Indicator):实际测量值,是 SLO 的输入。例如“本月实际可用性 = 99.97%”。

值班台评分中,SLI 的采集粒度直接影响评分准确性。建议以 1 分钟 为窗口计算可用性 SLI,避免 5 分钟聚合掩盖短时故障。

常见误区: 将 SLA 直接作为值班台考核目标。正确做法是:值班台考核 SLO(内部目标),SLA 仅作为兜底红线。SLO 达成率应 ≥ 99.5%,否则触发评分扣减。

2.4 故障响应时间与升级率:值班台效率的双刃剑

故障响应时间衡量值班台的“警觉性”,升级率衡量“自愈能力”。两者存在内在矛盾:

  • 响应时间过短 + 升级率过高:值班台沦为“传声筒”,未做任何诊断就升级,增加二线负担。
  • 响应时间过长 + 升级率过低:值班台试图自行解决所有问题,导致故障窗口拉长。

理想状态是:响应时间 ≤ 5 min,升级率 ≤ 20%。调优时可将两者组合为“值班台效能指数”:

# 效能指数(示例)
efficiency_index = (1 - escalation_rate) / response_time

# 当响应时间 = 3 min,升级率 = 15% 时
efficiency_index = (1 - 0.15) / 3 = 0.283

2.5 误报率:告警质量的晴雨表

误报率直接影响值班台的信任度和响应疲劳度。高误报率会导致:

  • 值班人员忽略真实告警(狼来了效应)
  • 响应时间被虚假告警稀释,评分失真
  • 升级率虚高(误报被错误升级)

误报率调优通常从告警规则入手:

  1. 去重聚合:相同告警 5 分钟内只触发一次
  2. 持续时间过滤:告警持续超过 30 秒才生成事件
  3. 关联分析:多个告警合并为单一故障事件
注意: 误报率目标不宜低于 1%。过度过滤可能导致漏报,反而降低值班台可靠性。建议初始目标设为 5%-10%,逐步调优。

2.6 指标关系图

下图展示值班台可靠性核心指标之间的依赖与影响关系,帮助理解评分参数调优时的联动效应。

值班台可靠性核心指标关系图 值班台可靠性核心指标关系图 值班台可靠性 稳定性 MTBF MTTR 响应性 故障响应时间 准确性 升级率 误报率 SLA SLO SLI 说明: MTBF/MTTR 影响稳定性评分;故障响应时间影响响应性评分;升级率/误报率影响准确性评分。 SLA/SLO/SLI 作为顶层约束,决定评分阈值与权重分配。

2.7 评分参数调优优先级

基于指标关系图,调优时应遵循以下优先级顺序:

  1. 先降误报率:告警质量是基础,误报率不达标则其他指标均失真。
  2. 再控响应时间:值班台核心价值在于快速响应,响应时间应作为首要考核项。
  3. 平衡升级率与 MTTR:在响应时间达标后,逐步降低升级率,同时控制 MTTR 不反弹。
  4. 对齐 SLO:所有指标调优结果必须满足 SLO 目标,否则重新调整权重。
实战案例: 某电商平台值班台初始误报率 35%,响应时间平均 8 min。经过告警规则优化(去重+持续时间过滤),误报率降至 8%,响应时间降至 3 min,升级率从 45% 降至 18%。评分模型权重从“重 MTTR”调整为“重响应时间+误报率”,整体可靠性评分提升 42%。