2. 现象识别与告警分级
现象识别是问题排查的起点，告警分级决定响应优先级。本章建立从原始现象到可执行告警的标准化工作流，涵盖异常表现分类、阈值设计与误报/漏报判断规则，确保监控体系既能捕捉真实问题，又不会淹没在无效信号中。
核心原则：现象识别必须基于可量化指标，而非主观感知；告警分级必须与服务等级目标（SLO）对齐，避免“一刀切”阈值。
2.1 异常表现分类体系
将运维中常见的异常表现归纳为两大类：响应指标异常与资源指标异常。每一类下细分具体监控维度，形成可复用的分类模板。
| 大类 | 监控指标 | 典型阈值（参考） | 异常表现 |
|---|---|---|---|
| 响应指标 | 延迟（P95/P99） | P99 > 500ms | 用户请求缓慢或超时 |
| 错误率 | 5xx 比例 > 1% | HTTP 500/502/503 突增 | |
| 吞吐量 | QPS 下降 > 30% | 请求量陡降或直降为0 | |
| 资源指标 | CPU 使用率 | > 85% 持续 5 分钟 | 服务响应变慢，上下文切换陡增 |
| 内存使用率 | > 90% 且 GC 频繁 | OOM Killer 或频繁 Full GC | |
| 磁盘 I/O | await > 30ms | 日志写入阻塞，数据库查询超时 | |
| 网络连接 | TIME_WAIT > 10000 | 端口耗尽，新连接失败 |
实战要点：在部署新服务时，预留一周的“基线学习期”，自动采集各指标的常态区间，避免用固定阈值套用在所有环境上。
2.2 监控告警阈值设计方法
阈值设计需要平衡灵敏度与稳定性。常用的三种设计模式：
- 静态阈值法：适用于资源指标（如磁盘空间、内存水位），基于历史经验设定固定上下界。
- 动态基线法：利用滑动窗口（如过去7天同一时段）计算均值±3σ，适合有明显周期性的业务指标。
- 复合条件法：多个指标同时触发才告警，例如“CPU > 85% 且错误率 > 0.5%”，减少单指标抖动引起的误报。
常见陷阱：不要为每个指标都设置告警。没有响应动作的告警等于噪声。每个告警必须对应一个可执行的排查动作。
以下是一个基于复合条件的告警规则配置示例：
# Prometheus alert rule 示例
groups:
- name: web_service_alerts
rules:
- alert: HighErrorRateWithLatency
expr: |
(rate(http_requests_total{status=~"5.."}[5m])
/ rate(http_requests_total[5m])) > 0.01
AND
histogram_quantile(0.99,
rate(http_request_duration_seconds_bucket[5m])) > 0.5
for: 3m
labels:
severity: critical
annotations:
summary: "高错误率伴随高延迟，需立即介入"
2.3 误报与漏报判断规则
误报（False Positive）与漏报（False Negative）是监控系统的一体两面。它们没有消除的公式，但可以通过规则矩阵做出工程取舍。
| 判断规则 | 适用场景 | 常见诱因 | 判定公式 |
|---|---|---|---|
| N-of-M 规则 | 突发性抖动过滤 | 网络闪断、进程短暂重启 | N 分钟内触发 M 次则告警 |
| 变化率规则 | 缓慢增长型问题 | 内存泄漏、磁盘逐渐写满 | 当前值相对基线增幅 > X% |
| 多维度交叉验证 | 高敏感指标 | 单节点异常 vs 集群异常 | A 指标 && B 指标 && C 指标 同时异常 |
| 反确认机制 | 已知维护窗口 | 部署、扩容、重启操作 | 匹配已知事件标签则降级或抑制 |
误报与漏报的工程取舍：对于核心支付链路，容忍少量误报（宁可错杀）换取零漏报；对于日志清理等后台任务，宁可漏报也不产生噪音。取舍依据是服务等级目标（SLO）与故障成本。
2.4 告警分级与响应矩阵
根据影响范围与紧急程度，将告警划分为四个等级，每个等级绑定固定的响应动作与升级时间线。
| 等级 | 标签 | 响应时间 | 通知方式 | 动作要求 |
|---|---|---|---|---|
| P0 | 严重 | 5 分钟内 | 电话+即时消息+邮件 | 立即拉群，启动应急响应 |
| P1 | 高 | 15 分钟内 | 即时消息+邮件 | 指定人确认，30分钟内修复 |
| P2 | 中 | 1 小时内 | 即时消息 | 排入当日工单 |
| P3 | 低 | 24 小时内 | 邮件/告警平台 | 纳入排期修复 |
自动化实践：将告警分级信息写入告警标签（label），在 IM 机器人中自动匹配不同颜色的通知卡片，提升值班人员视觉识别效率。
2.5 高级技巧：告警风暴抑制与智能降噪
当故障发生时，大量关联指标会同时报警，形成告警风暴。以下是三种经过生产验证的抑制策略：
- 依赖链聚合：根据服务拓扑，如果下游服务已报 P0，则上游同类告警自动降级为“关联告警”，不额外通知。
- 时间窗口去抖：同一资源在 30 分钟内只触发一次同类型的告警，避免重复通知。
- AI 聚类降噪：基于历史数据训练聚类模型，将相似告警归并为一条“摘要告警”，附带受影响实例列表。
演练建议：每季度组织一次“告警攻防演练”，人为注入模拟故障，验证监控阈值是否触发预期告警，并统计误报率与漏报率。目标是误报率 < 10%，漏报率 < 5%。
通过本章的方法，团队可以建立一套“可测量、可分级、可回溯”的告警体系。下一环节将进入第 3 章：基于异常现象启动数据采集与根因定位工作流。