3. 告警分类与优先级：P0/P1/P2/P3 定义、告警来源与去重聚合
在 On-Call 响应体系中，告警分类与优先级是事故响应的第一道过滤器。错误的优先级分配会导致关键事故被淹没在噪音中，或使非关键告警触发不必要的升级流程。本节将定义 P0–P3 四级优先级模型，梳理告警来源，并介绍去重与聚合的工程实践。
3.1 优先级定义：P0–P3 四级模型
优先级基于影响范围与紧急程度两个维度进行划分。下表列出了各优先级的典型特征、响应目标与示例场景：
| 优先级 | 影响范围 | 紧急程度 | 响应目标 (SLO) | 典型场景 |
|---|---|---|---|---|
| P0 | 核心业务完全不可用，影响所有用户 | 立即响应，持续作战 | 5 分钟内确认，30 分钟内恢复 | 数据库主库宕机、支付链路中断、全局 5xx 错误率 > 50% |
| P1 | 核心功能严重受损，影响大量用户 | 快速响应，高优先级 | 15 分钟内确认，2 小时内恢复 | 单可用区故障、关键 API 延迟 > 5s、用户登录失败率 > 10% |
| P2 | 非核心功能受损，或核心功能部分降级 | 正常工作时间响应 | 4 小时内确认，下一个发布窗口修复 | 报表导出慢、非关键页面样式异常、部分用户无法上传附件 |
| P3 | 功能可用但体验不佳，或仅影响内部运维 | 低优先级，积压处理 | 24 小时内确认，随迭代修复 | 日志告警阈值误报、监控面板数据延迟、文档过期 |
实践建议：P0/P1 的响应目标应写入 On-Call 合同，并与值班工程师的 SLA 考核绑定。P2/P3 可纳入常规工单系统，避免频繁打断值班人员。
3.2 告警来源与可信度分级
告警并非全部来自监控系统。不同来源的告警具有不同的可信度与处理优先级。常见的告警来源包括：
- 监控系统（主动探测）：基于指标阈值、日志模式、链路追踪自动触发。可信度最高，但需避免过度告警。
- 用户反馈（被动上报）：通过客服工单、社交媒体、App 内反馈渠道。可信度中等，但可能包含监控未覆盖的盲区。
- 工单系统（内部流转）：运维人员手动创建、变更窗口遗留问题、上游依赖方通知。可信度取决于创建者，通常需要二次验证。
下表对比了三种来源的关键属性：
| 来源 | 触发方式 | 可信度 | 延迟 | 典型处理流程 |
|---|---|---|---|---|
| 监控系统 | 自动 | 高 | 秒级 | 直接进入告警队列，按优先级路由 |
| 用户反馈 | 人工 | 中 | 分钟–小时级 | 客服初筛 → 创建工单 → 确认是否为事故 |
| 工单系统 | 人工/半自动 | 低–中 | 小时级 | 工单分类 → 关联监控数据 → 升级或关闭 |
常见陷阱：用户反馈往往比监控告警更早暴露问题，但容易被忽略。建议设置“用户反馈量突增”作为独立告警规则，并赋予 P1 优先级。
3.3 告警去重与聚合
未经处理的原始告警会产生“告警风暴”，导致 On-Call 工程师无法识别真正的问题根因。去重与聚合是降低告警噪音的核心手段。
3.3.1 去重策略
- 时间窗口去重：相同告警规则在 5 分钟内只发送一次通知，后续告警仅更新计数器。
- 指纹去重：基于告警内容（主机名、错误码、堆栈摘要）生成哈希指纹，相同指纹合并。
- 状态机去重：告警从“触发”到“恢复”之间，不再重复发送同一规则的告警。
3.3.2 聚合策略
- 因果聚合：将同一根因引发的多条告警归并为一个事故。例如：数据库连接池耗尽 → 上游所有服务超时告警 → 聚合为“数据库故障”。
- 拓扑聚合：按服务依赖拓扑，将下游告警折叠到上游根因节点。
- 时间序列聚合：将同一主机/集群在短时间内的突发告警合并为一条“突发告警摘要”。
关键指标：告警压缩比 = 原始告警数 / 聚合后告警数。健康系统的压缩比应 > 10:1。若低于 5:1，说明去重聚合策略需要优化。
3.4 告警分类与聚合流程（SVG）
下图展示了从告警产生到最终事故分派的完整流程，包含优先级判定、来源识别与去重聚合节点：
3.5 优先级动态调整与回退机制
优先级并非一成不变。在事故响应过程中，应根据实际情况进行动态调整：
- 升级（Escalation）：P1 事故在 30 分钟内未确认，自动升级为 P0；P2 事故影响扩大时，手动升级。
- 降级（De-escalation）：P0 事故已定位根因并启动恢复流程，可降为 P1 持续跟踪。
- 回退（Rollback）：若变更窗口导致告警，且回退后告警消失，则优先级自动降为 P3，并记录为“变更相关”。
自动化建议：在告警平台中配置“升级计时器”与“影响范围自动检测”。当错误率或延迟指标超过 P0 阈值时，自动提升优先级并通知值班经理。
3.6 告警分类与优先级矩阵（SVG）
下图展示了告警来源、优先级与响应动作之间的映射关系，帮助 On-Call 工程师快速决策：
3.7 告警分类的测试验证要点
在变更窗口测试中，必须验证告警分类与优先级逻辑的正确性：
- 阈值验证：注入故障后，确认告警触发时间与预期优先级一致。例如：注入 50% 错误率，应触发 P0 告警。
- 去重验证：连续触发相同告警 10 次，确认只收到 1 条通知，且计数器正确。
- 聚合验证：模拟数据库故障，确认上游所有超时告警被聚合为一条“数据库故障”事故。
- 升级验证：模拟 P1 告警未确认场景，确认 30 分钟后自动升级为 P0 并通知值班经理。
测试用例示例：
# 验证 P0 告警触发与去重
1. 注入故障：payment 服务返回 500 错误率 60%
2. 预期：5 秒内触发 P0 告警，通知 On-Call
3. 持续注入 30 秒，确认只收到 1 条告警通知
4. 恢复故障，确认告警自动关闭
5. 检查告警平台：原始告警 12 条，聚合后 1 条，压缩比 12:1