1. MTTR 基础概念
1.1 MTTR 定义
MTTR(Mean Time To Repair,平均修复时间) 是衡量系统从发生故障到完全恢复服务所消耗平均时间的核心指标。在 SRE 实践中,MTTR 直接决定了故障对业务的影响窗口长度。
MTTR 计算公式:
其中“修复时间”包括:故障发现 → 告警响应 → 定位诊断 → 修复实施 → 验证恢复 的全链路耗时。
MTTR = 总修复时间 / 故障次数其中“修复时间”包括:故障发现 → 告警响应 → 定位诊断 → 修复实施 → 验证恢复 的全链路耗时。
MTTR 通常包含以下子阶段:
| 子阶段 | 定义 | 典型占比 |
|---|---|---|
| MTTD(Mean Time To Detect) | 从故障发生到被监控系统检测到的时间 | 15% ~ 25% |
| MTTA(Mean Time To Acknowledge) | 从告警发出到 SRE 响应确认的时间 | 10% ~ 20% |
| MTTI(Mean Time To Identify) | 从响应到定位根因的时间 | 30% ~ 45% |
| MTTF(Mean Time To Fix) | 从定位到修复完成的时间 | 15% ~ 30% |
实践要点:在 Exporter 异常自愈场景中,MTTR 的优化重点通常集中在 MTTI 和 MTTF 两个阶段——通过自动化诊断和自愈脚本压缩人工排查时间。
1.2 MTTR 与 MTBF / MTTF 的关系
这三个指标共同构成了系统可靠性的核心度量体系,理解它们的区别与联系是 SRE 的基础能力。
| 指标 | 全称 | 定义 | 关注点 |
|---|---|---|---|
| MTBF | Mean Time Between Failures | 两次故障之间的平均正常运行时间 | 系统稳定性 |
| MTTF | Mean Time To Failure | 系统从启动到首次故障的平均时间 | 无修复场景(如不可修复组件) |
| MTTR | Mean Time To Repair | 从故障到恢复的平均修复时间 | 恢复效率 |
核心关系公式:
- 可用性(Availability) = MTBF / (MTBF + MTTR)
- 当 MTBF 固定时,MTTR 越小,可用性越高
- 当 MTTR 固定时,MTBF 越大,可用性越高
常见误区:很多团队只关注 MTBF(系统稳定性),却忽视了 MTTR 对可用性的影响。在 Exporter 异常场景中,即使 MTBF 很高,如果每次修复需要 2 小时,全年累计不可用时间仍可能超过 SLA 承诺。
1.3 MTTR 在 SRE 中的重要性
在 SRE 实践中,MTTR 是衡量团队故障响应效率的黄金指标,其重要性体现在以下三个维度:
- 直接影响可用性 SLA: 根据可用性公式,MTTR 每降低 50%,可用性提升效果等同于 MTBF 提升 100%。
- 决定故障成本: 每多一分钟 MTTR,意味着多一分钟的业务损失、用户流失和品牌声誉受损。
- 衡量自动化成熟度: 低 MTTR 通常意味着完善的监控、告警、自愈体系——这正是本课程的核心目标。
Exporter 异常场景的 MTTR 现状:
根据行业统计,未引入自愈机制的 Exporter 故障平均 MTTR 约为 45~90 分钟,其中:
· 人工发现 + 定位:25~50 分钟
· 手动重启 / 配置修复:15~30 分钟
· 验证恢复:5~10 分钟
通过自愈剧本,目标是将 MTTR 压缩至 5 分钟以内。
根据行业统计,未引入自愈机制的 Exporter 故障平均 MTTR 约为 45~90 分钟,其中:
· 人工发现 + 定位:25~50 分钟
· 手动重启 / 配置修复:15~30 分钟
· 验证恢复:5~10 分钟
通过自愈剧本,目标是将 MTTR 压缩至 5 分钟以内。
1.4 本课程中的 MTTR 优化目标
在《Exporter 异常自愈剧本》课程中,我们将围绕以下 MTTR 优化策略展开:
- 自动化检测(降低 MTTD): 通过 Prometheus 告警规则 + 健康检查探针,将故障发现时间从分钟级压缩至秒级。
- 智能定位(降低 MTTI): 自愈剧本内置诊断逻辑,自动区分 Exporter 进程挂死、配置错误、端口冲突、依赖服务不可用等场景。
- 一键自愈(降低 MTTF): 预置重启、回滚配置、清理缓存、拉起依赖等原子操作,无需人工介入。
- 验证闭环(降低验证时间): 自愈后自动执行健康检查,确认恢复后关闭告警,形成完整闭环。
课程预期收益: 通过本课程的学习和实践,你将能够将 Exporter 相关故障的 MTTR 从行业平均的 45~90 分钟降低至 5 分钟以内,部分场景可实现 30 秒内自动恢复。