第1章 线上故障现象分类与分级

线上故障千变万化，但绝大多数异常可以归入 10 种典型现象。本章建立统一的分类分级体系，并按照现象识别 → 数据采集 → 原因定位 → 修复动作 → 复测 → 预防六步主线，为后续章节的深度诊断打下基础。

1.1 十种故障现象总览

根据故障对业务的影响范围、响应速度、可观测性特征，将线上故障分为 响应类、资源类、性能类 三大类别。下表列出每种现象的关键指标、严重等级及初级识别手段。

1.2 故障树：从现象到根因的快速导航

故障树（Fault Tree）将顶层现象逐层分解为可量化的判断节点。以下 SVG 图展示了以“线上故障”为根节点的三分类结构，每个叶子节点对应一种故障现象，并标注了直接采集手段。

1.3 六步排查主线详解（以“CPU 飙升”为例）

本课程的所有章节均遵循同一排查主线。下面以 CPU 飙升 作为示范，串联六步操作。

步骤① 现象识别

• 指标：top 输出中 %CPU 列接近 100%，load average 显著高于 CPU 核数。
• 报警：监控系统（Prometheus + Alertmanager）触发阈值告警。

步骤② 数据采集

# 找出 CPU 消耗最高的进程和线程
top -H -p $(pgrep -f java-app) | head -20

# 将线程 ID 转为十六进制，用于 jstack 查找
printf "%x\n" <thread_id>

# 采集当前 jstack 快照
jstack <pid> > /tmp/jstack_$(date +%Y%m%d_%H%M%S).log

步骤③ 原因定位

分析 jstack 中对应线程的状态，常见原因包括：

• 死循环（持续 RUNNABLE，无 IO 等待）
• 热点正则匹配或序列化
• 频繁 GC 导致 CPU 空转（结合 GC 日志判断）

步骤④ 修复动作

// 示例：优化正则缓存
private static final Pattern PATTERN = Pattern.compile("[a-z]+\\d+");

// 或者增加限流/熔断，防止突发请求打爆 CPU

步骤⑤ 复测

• 观察 top 负载是否回落至正常水平（%CPU < 60%）
• 压测或灰度环境模拟请求，确认不再触发阈值

步骤⑥ 预防

• 添加 CPU 兜底看板（Grafana 面板 + 告警规则）
• 代码审查：避免热路径上的正则与反射
• 引入 JFR（Java Flight Recorder）持续录制热点方法

1.4 排查速查表：十分钟快速定位

针对每种现象，下表列出最直接的数据采集命令和典型定位方向。使用时可将其打印为故障响应手卡。

1.5 本章小结

• 掌握了 10 种典型故障现象 的识别指标、严重等级分类。
• 理解 故障树 作为快速导航工具，将现象与采集手段直接关联。
• 掌握六步排查主线（现象识别 → 数据采集 → 原因定位 → 修复 → 复测 → 预防）并以 CPU 飙升为例实操。
• 获得 排查速查表，可在真实事故中 10 分钟内选择正确的采集命令与定位方向。