📚 课程目录第4章故障诊断流程概述

4. 故障诊断流程概述：故障生命周期与诊断模式

在构建基于 Grafana 看板与 Runbook 的自动化诊断体系之前，必须首先理解故障从发生到闭环的完整生命周期，以及人工诊断与自动化诊断在各个环节中的角色差异。本章将系统梳理故障生命周期的四个核心阶段，并对比两种诊断模式的适用场景与效率瓶颈。

一个标准故障的生命周期可划分为四个连续阶段，每个阶段都有明确的输入、输出和关键决策点。下表总结了各阶段的核心目标与典型活动：

关键认知： 故障生命周期不是线性结束就终止的。复盘阶段的输出（如更新后的 Runbook、新增告警规则）会直接反馈到发现和定位阶段，形成持续改进的闭环。

下图展示了故障生命周期的完整闭环流程，以及每个阶段在时间轴上的典型位置：

在故障定位和恢复阶段，诊断模式的选择直接影响 MTTR（平均修复时间）。人工诊断依赖工程师的经验和手动操作，而自动化诊断通过预定义的 Runbook 和可观测性数据联动，实现机器决策与执行。下表从多个维度对比两种模式：

对比维度	人工诊断	自动化诊断
响应速度	分钟级到小时级（受限于人响应）	秒级到分钟级（告警即触发）
一致性	依赖个人经验，不同工程师结果可能不同	严格遵循 Runbook 步骤，结果可复现
可扩展性	受限于团队规模，无法同时处理大量故障	可并行处理多个故障，无人力瓶颈
复杂场景处理	擅长处理未知、跨层级的复杂故障	适合已知模式、有明确规则的故障
知识沉淀	经验留在个人脑中，容易流失	Runbook 和诊断逻辑可版本化管理
典型工具	Grafana Explore、Kibana、SSH 手动查日志	Grafana OnCall + Runbook 引擎、自动化脚本

实践建议： 不要追求 100% 自动化诊断。对于已知、高频、有明确模式的故障（如磁盘满、CPU 飙高），优先自动化；对于未知、偶发、需要跨系统推理的故障，保留人工诊断通道，但通过 Grafana 看板提供聚合数据辅助决策。

下图展示了人工诊断与自动化诊断在故障生命周期各阶段的参与程度差异：

在评估故障诊断流程效率时，SRE 团队通常关注以下三个核心指标。这些指标将直接用于衡量 Grafana 看板与 Runbook 联动方案的效果：

MTTD（Mean Time to Detect，平均发现时间）：从故障发生到告警触发的时间。自动化发现可将 MTTD 从分钟级压缩到秒级。
MTTK（Mean Time to Know，平均认知时间）：从告警触发到确定根因的时间。这是自动化定位要优化的核心指标。
MTTR（Mean Time to Resolve，平均修复时间）：从故障发生到服务完全恢复的时间。MTTR = MTTD + MTTK + 恢复时间。

  课程关联： 在后续章节中，我们将通过 Grafana 看板实时展示 MTTD/MTTK/MTTR 趋势，并利用 Runbook 自动化执行定位步骤，将 MTTK 从人工分析的 15-30 分钟降低到自动化脚本的 1-3 分钟。

团队从完全人工诊断过渡到自动化诊断，通常经历以下三个阶段。每个阶段都有明确的标志和关键动作：

阶段一：人工为主，看板辅助
- 工程师通过 Grafana 看板手动查看指标，凭经验判断根因。
- Runbook 以文档形式存在，工程师阅读后手动执行命令。
- MTTK 通常在 15-30 分钟。
阶段二：半自动化，看板联动 Runbook
- 告警触发后，Grafana 看板自动展示关联的 Runbook 链接。
- Runbook 包含可点击的“一键执行”按钮，触发预定义脚本。
- MTTK 降低到 5-10 分钟。
阶段三：全自动化，闭环诊断
- 告警触发后，自动化引擎根据 Runbook 步骤自动执行诊断脚本。
- 诊断结果自动写入 Grafana 看板注释，并触发恢复操作。
- MTTK 降低到 1-3 分钟，部分场景实现自愈。

本课程将重点覆盖阶段二和阶段三的实现方法，帮助团队逐步建立自动化诊断能力。