1. MTTR 基础概念

1.1 MTTR 定义

MTTR(Mean Time to Repair,平均修复时间) 是衡量系统从发生故障到完全恢复所消耗平均时间的核心指标。在 SRE 实践中,MTTR 直接决定了故障对用户的影响时长,是服务可靠性的关键度量。

MTTR 计算公式:
MTTR = 总修复时间 / 故障次数

其中“修复时间”包括:故障发现 → 故障定位 → 故障修复 → 恢复验证 四个阶段的总耗时。

MTTR 的典型构成阶段如下表所示:

阶段 定义 占比参考
检测(Detection) 从故障发生到监控系统发出告警的时间 15% - 25%
定位(Diagnosis) 从收到告警到确定根因的时间 40% - 50%
修复(Resolution) 从确定根因到执行修复操作的时间 20% - 30%
验证(Verification) 从修复完成到确认服务恢复正常的时间 5% - 10%
实践要点: 定位阶段通常占据 MTTR 的最大比例。通过 Golden Signals 中的延迟(Latency)和错误(Errors)指标,可以大幅缩短定位时间。

1.2 MTTR 与 MTBF / MTTF 的关系

在可靠性工程中,MTTR 与 MTBF(Mean Time Between Failures,平均故障间隔时间)、MTTF(Mean Time to Failure,平均故障前时间) 共同构成“可靠性三角”。三者关系如下:

  • MTBF = MTTF + MTTR,表示两次故障之间的平均时间间隔。
  • MTTF 表示系统正常运行直到首次故障的平均时间,适用于不可修复系统。
  • MTTR 表示系统从故障中恢复的平均时间,适用于可修复系统。

三者之间的数学关系与业务含义对比如下:

指标 定义 适用场景 优化方向
MTBF 平均故障间隔时间 可修复系统(如微服务、数据库) 提升系统健壮性,减少故障频率
MTTF 平均故障前时间 不可修复系统(如传感器、一次性设备) 延长组件寿命,提高硬件质量
MTTR 平均修复时间 所有可修复系统 缩短故障恢复时长,降低影响
常见误区: 很多团队只关注 MTBF 而忽视 MTTR。实际上,在 SLA 要求严格的场景下,MTTR 对用户体验的影响往往比 MTBF 更直接——一次 10 分钟的故障比十次 1 分钟的故障更严重。

通过 可用性(Availability) 公式可以直观看到三者的关联:

可用性 = MTBF / (MTBF + MTTR) = MTTF / (MTTF + MTTR)

例如:某系统 MTBF = 720 小时(30 天),MTTR = 1 小时,则可用性 = 720 / 721 ≈ 99.86%。若 MTTR 缩短至 0.5 小时,可用性提升至 99.93%。

可靠性三角:MTBF / MTTF / MTTR 关系 正常运行 MTTF = 200 单位 故障 MTTR = 80 单位 正常运行 MTTF = 220 单位 T₀ T₁(故障发生) T₂(恢复) T₃(下次故障) MTBF = MTTF + MTTR 本例:MTBF = (200 + 220)/2 + 80 = 290 单位;可用性 = 210 / 290 ≈ 72.4%

1.3 MTTR 在 SRE 中的核心地位

在 SRE 体系中,MTTR 是衡量 故障响应能力 和 运维成熟度 的关键指标。Google SRE 经典著作《Site Reliability Engineering》明确指出:

"在故障不可避免的前提下,缩短 MTTR 是提升系统可用性最直接、最有效的途径。"

MTTR 在 SRE 中的核心地位体现在以下四个维度:

维度 说明 与 Golden Signals 的关联
SLA 达成 MTTR 直接影响可用性计算,是 SLA 违约的关键风险点 延迟(Latency)和错误(Errors)是 SLA 的直观体现
用户体验 故障恢复越快,用户感知到的不可用时间越短 流量(Traffic)和饱和度(Saturation)反映用户影响范围
运维效率 MTTR 越低,说明团队自动化、监控、应急流程越成熟 所有 Golden Signals 指标都能加速故障定位
成本控制 缩短 MTTR 可减少故障期间的资源浪费和业务损失 饱和度(Saturation)帮助识别资源瓶颈
核心观点: Golden Signals(延迟、流量、错误、饱和度)是缩短 MTTR 的“四把手术刀”。通过实时监控这四个信号,SRE 团队可以在故障发生的 检测阶段 和 定位阶段 大幅压缩时间,从而系统性降低 MTTR。
MTTR 在 SRE 中的核心地位 MTTR 平均修复时间 SLA 达成 可用性 = MTBF/(MTBF+MTTR) 用户体验 故障时长 = 用户影响 运维效率 自动化 + 流程成熟度 成本控制 减少故障资源浪费 Golden Signals 是缩短 MTTR 的核心工具:延迟、流量、错误、饱和度

1.4 小结

  • MTTR 是衡量故障恢复速度的核心指标,由检测、定位、修复、验证四个阶段组成。
  • MTBF = MTTF + MTTR,三者共同决定系统可用性。
  • 在 SRE 中,MTTR 直接影响 SLA、用户体验、运维效率和成本控制,是 故障管理的第一优先级。
  • Golden Signals 为 MTTR 优化提供了可观测性基础,后续章节将逐一展开。