2. 值班台可靠性核心指标:MTTR、MTBF、SLA/SLO/SLI 定义、故障响应时间、升级率、误报率
值班台是 SRE 体系的第一道防线,其可靠性直接决定故障发现与处置的初始效率。本章围绕 7 个核心指标展开,建立可量化、可调优的评估框架。每个指标都对应值班台的一个关键行为维度,缺失任何一个都会导致评分模型失真。
2.1 指标全景与分类
值班台可靠性指标可划分为 稳定性、响应性、准确性 三大类。下表列出每个指标的定义、计算口径与典型阈值参考。
| 指标 | 分类 | 定义 | 计算口径 | 参考阈值 |
|---|---|---|---|---|
| MTBF | 稳定性 | 平均无故障时间,衡量系统连续正常运行的时长 | 总运行时间 / 故障次数 | > 720 h(30 天) |
| MTTR | 响应性 | 平均修复时间,从故障确认到恢复的总耗时 | 总修复时间 / 故障次数 | < 15 min |
| 故障响应时间 | 响应性 | 从告警触发到值班人员首次确认的时间 | 首次确认时间 - 告警时间 | < 5 min |
| 升级率 | 准确性 | 值班台无法独立解决、需升级到二线/三线的故障比例 | 升级故障数 / 总故障数 | < 20% |
| 误报率 | 准确性 | 告警系统中非真实故障的告警占比 | 误报数 / 总告警数 | < 10% |
| SLA | 承诺 | 服务等级协议,对外承诺的可用性目标 | 合同约定(如 99.9%) | 按业务定 |
| SLO / SLI | 度量 | 服务等级目标与指标,SLO 是内部目标,SLI 是实际测量值 | SLI = 成功请求数 / 总请求数 | SLO ≥ SLA + 0.1% |
调优要点: MTTR 与故障响应时间容易混淆。故障响应时间只计算“确认”阶段,MTTR 包含确认、诊断、修复、验证全流程。在值班台评分中,响应时间权重应高于 MTTR,因为值班台的核心职责是快速响应而非深度修复。
2.2 MTTR 与 MTBF:稳定性的双轴
MTTR 和 MTBF 共同构成值班台可靠性的基础坐标系。MTBF 反映系统本身的健壮性,MTTR 反映值班台的处置效率。两者在评分模型中通常以加权组合形式出现:
# 值班台稳定性评分(示例公式)
stability_score = w1 * normalize(MTBF) + w2 * normalize(1/MTTR)
# 权重建议
w1 = 0.4 # 系统稳定性权重
w2 = 0.6 # 处置效率权重(值班台可控性更高)
实际调优时需注意:MTBF 过高可能掩盖值班台响应退化问题,MTTR 过低可能牺牲修复质量。建议设置 MTTR 下限阈值(如 5 min),防止“秒级确认但未真正修复”的虚假达标。
2.3 SLA / SLO / SLI 三层模型
值班台可靠性必须与业务承诺对齐。SLA、SLO、SLI 构成从承诺到度量的三层金字塔:
- SLA(Service Level Agreement):对外合同,不可协商,违约有赔偿。例如“月度可用性 ≥ 99.9%”。
- SLO(Service Level Objective):内部目标,比 SLA 更严格,为 SLA 提供缓冲。例如“月度可用性 ≥ 99.95%”。
- SLI(Service Level Indicator):实际测量值,是 SLO 的输入。例如“本月实际可用性 = 99.97%”。
值班台评分中,SLI 的采集粒度直接影响评分准确性。建议以 1 分钟 为窗口计算可用性 SLI,避免 5 分钟聚合掩盖短时故障。
常见误区: 将 SLA 直接作为值班台考核目标。正确做法是:值班台考核 SLO(内部目标),SLA 仅作为兜底红线。SLO 达成率应 ≥ 99.5%,否则触发评分扣减。
2.4 故障响应时间与升级率:值班台效率的双刃剑
故障响应时间衡量值班台的“警觉性”,升级率衡量“自愈能力”。两者存在内在矛盾:
- 响应时间过短 + 升级率过高:值班台沦为“传声筒”,未做任何诊断就升级,增加二线负担。
- 响应时间过长 + 升级率过低:值班台试图自行解决所有问题,导致故障窗口拉长。
理想状态是:响应时间 ≤ 5 min,升级率 ≤ 20%。调优时可将两者组合为“值班台效能指数”:
# 效能指数(示例)
efficiency_index = (1 - escalation_rate) / response_time
# 当响应时间 = 3 min,升级率 = 15% 时
efficiency_index = (1 - 0.15) / 3 = 0.283
2.5 误报率:告警质量的晴雨表
误报率直接影响值班台的信任度和响应疲劳度。高误报率会导致:
- 值班人员忽略真实告警(狼来了效应)
- 响应时间被虚假告警稀释,评分失真
- 升级率虚高(误报被错误升级)
误报率调优通常从告警规则入手:
- 去重聚合:相同告警 5 分钟内只触发一次
- 持续时间过滤:告警持续超过 30 秒才生成事件
- 关联分析:多个告警合并为单一故障事件
注意: 误报率目标不宜低于 1%。过度过滤可能导致漏报,反而降低值班台可靠性。建议初始目标设为 5%-10%,逐步调优。
2.6 指标关系图
下图展示值班台可靠性核心指标之间的依赖与影响关系,帮助理解评分参数调优时的联动效应。
2.7 评分参数调优优先级
基于指标关系图,调优时应遵循以下优先级顺序:
- 先降误报率:告警质量是基础,误报率不达标则其他指标均失真。
- 再控响应时间:值班台核心价值在于快速响应,响应时间应作为首要考核项。
- 平衡升级率与 MTTR:在响应时间达标后,逐步降低升级率,同时控制 MTTR 不反弹。
- 对齐 SLO:所有指标调优结果必须满足 SLO 目标,否则重新调整权重。
实战案例: 某电商平台值班台初始误报率 35%,响应时间平均 8 min。经过告警规则优化(去重+持续时间过滤),误报率降至 8%,响应时间降至 3 min,升级率从 45% 降至 18%。评分模型权重从“重 MTTR”调整为“重响应时间+误报率”,整体可靠性评分提升 42%。