4. 故障根因定位方法论

故障根因定位是MTTR（平均修复时间）中耗时最长、不确定性最高的环节。本章系统介绍四种经过大规模生产环境验证的根因定位方法：5Why分析法、故障树分析法（FTA）、因果图分析法和时间线回溯法。每种方法适用于不同的故障场景，SRE团队应组合使用以提升定位效率。

4.1 5Why分析法

5Why分析法通过连续追问“为什么”来穿透故障的表层现象，直达根本原因。该方法由丰田生产系统首创，在IT故障场景中同样有效。

4.1.1 分析步骤

1. 定义问题：准确描述故障现象，避免模糊表述。
2. 首次追问：问“为什么这个现象会发生？”
3. 逐层深入：对每个答案继续追问“为什么”，通常需要3-5层。
4. 验证根因：确认找到的原因如果被消除，故障是否不会复现。
5. 制定措施：针对根因设计永久性修复方案。

4.1.2 实战案例：支付超时故障

4.2 故障树分析法（FTA）

故障树分析法（Fault Tree Analysis, FTA）是一种自上而下的演绎推理方法。它以系统级故障为顶事件，逐层分解为子事件，通过逻辑门（与门、或门）连接，最终定位到底层基本事件。

4.2.1 核心符号

4.2.2 故障树示例：数据库主从切换失败

4.3 因果图分析法

因果图分析法（又称鱼骨图或Ishikawa图）从多个维度系统性地列出可能导致故障的因素，适合在故障原因不明确、需要头脑风暴时使用。

4.3.1 常见维度（适用于IT系统）

• 人员：操作失误、配置错误、权限不足、沟通遗漏
• 机器：硬件故障、资源耗尽、网络分区、磁盘满
• 方法：变更流程缺失、回滚方案无效、监控告警缺失
• 材料：数据不一致、配置项错误、依赖版本不兼容
• 度量：监控指标缺失、阈值设置不合理、日志采样不足
• 环境：机房故障、云服务商可用区故障、DNS解析异常

4.3.2 因果图示例：API网关超时故障

4.4 时间线回溯法

时间线回溯法以故障发生时间为基准，逆向梳理所有相关事件的时间序列，寻找异常变化的起点。该方法特别适合由变更、发布或外部依赖变化引发的故障。

4.4.1 实施步骤

1. 确定故障时间窗口：从首次用户报障或监控告警时间点开始，向前扩展2-4小时。
2. 收集时间戳数据：包括变更记录、发布日志、监控指标、告警事件、调用链数据、应用日志。
3. 绘制时间线：将所有事件按时间顺序排列，标注正常基线区间。
4. 识别异常拐点：寻找指标首次偏离基线的时刻，以及与之关联的变更事件。
5. 验证因果关系：确认异常拐点与故障现象之间的因果链。

4.4.2 时间线回溯示例

4.5 方法对比与选择策略