4. 告警体系设计：告警分级、聚合与抑制
告警体系是自动化熔断恢复的“神经末梢”。如果告警质量低、数量爆炸，Runbook 自愈流程将无法准确触发。本章围绕告警分级（P0–P4）、聚合去重、抑制与静默三大核心设计展开，确保告警信号清晰、可行动、可自愈。
4.1 告警分级（P0–P4）
告警分级决定了响应速度、升级策略以及是否触发 Runbook 自愈。标准分级定义如下：
| 级别 | 定义 | 响应要求 | 自愈触发 | 示例 |
|---|---|---|---|---|
| P0 | 核心业务完全中断，影响大量用户 | 立即响应（≤5 min） | 自动熔断 + 人工介入 | 支付链路全红、数据库主库宕机 |
| P1 | 主要功能受损，但非全局中断 | 紧急响应（≤15 min） | 优先 Runbook 自愈 | 缓存集群大面积超时、API 错误率 >5% |
| P2 | 部分功能降级，有临时绕过方案 | 快速响应（≤1 h） | Runbook 自动修复 | 单机房延迟升高、磁盘使用率 >85% |
| P3 | 非关键告警，不影响用户 | 工作日内处理 | 可选自动修复 | 证书即将过期、备份延迟 |
| P4 | 信息通知，无业务影响 | 记录跟踪 | 不触发自愈 | 例行巡检报告、版本发布通知 |
设计要点： P0/P1 告警必须同时触发 Runbook 自愈和即时通知（电话/短信）；P2 告警优先走自愈，自愈失败再升级；P3/P4 告警仅入库，避免疲劳轰炸。
4.2 告警聚合与去重
故障发生时，同一根因可能触发数十条关联告警。聚合与去重是减少告警风暴的核心手段。
4.2.1 聚合策略
- 时间窗口聚合： 相同告警规则在 5–10 分钟内只发送一条，后续告警合并为“连续触发 N 次”。
- 拓扑关联聚合： 根据服务依赖关系，将上下游告警合并为“根因 + 影响列表”。
- 标签/维度聚合： 按主机、集群、地域等标签分组，同一维度下的告警折叠为一条。
4.2.2 去重规则
| 去重维度 | 规则说明 | 示例 |
|---|---|---|
| 指纹去重 | 对告警内容（规则名 + 实例 + 时间戳）计算哈希，相同指纹只保留首条 | 同一台机器连续 10 次 CPU 告警 |
| 因果去重 | 通过依赖图识别父子告警，子告警自动折叠到父告警下 | 数据库慢查询 → 上游 API 超时 → 前端报错 |
| 频率去重 | 同一告警在单位时间内重复超过阈值时，转为“持续告警”状态 | 5 分钟内同一错误日志出现 100 次 |
实践建议： 聚合与去重应在告警网关层完成（如 Alertmanager、Thanos Ruler），避免下游 Runbook 引擎收到重复事件。
4.3 告警抑制与静默规则
抑制（Inhibition）和静默（Silence）是告警体系的两道“降噪”防线，防止已知问题或维护操作引发无效告警。
4.3.1 抑制规则
抑制是指当高优先级告警存在时，自动屏蔽其关联的低优先级告警。典型场景：
- P0 告警抑制 P1–P4： 核心服务宕机时，所有下游依赖告警自动抑制。
- 维护窗口抑制： 计划内变更期间，相关告警规则自动抑制。
- 依赖抑制： 数据库不可用时，抑制所有基于该数据库的应用告警。
4.3.2 静默规则
静默是人为或自动化规则对特定告警的“主动忽略”，常用于：
| 静默类型 | 触发条件 | 有效期 | 示例 |
|---|---|---|---|
| 计划内静默 | 变更工单审批通过 | 变更窗口 + 30 min | 发布期间静默“服务重启”告警 |
| 已知问题静默 | 已确认的 Bug 或已知故障 | 修复上线前 | 静默某版本内存泄漏告警 |
| 临时静默 | 人工操作（如紧急排查） | 最长 2 h | 运维人员手动静默某主机告警 |
注意： 静默规则必须设置自动过期时间，避免“永久静默”导致真实故障被遗漏。建议静默到期后自动恢复告警，并发送提醒。
4.4 告警体系整体流程
下图展示了从告警产生到触发 Runbook 自愈的完整链路，包含分级、聚合、抑制与静默的关键节点：
4.5 告警体系设计检查清单
在落地告警体系时，建议逐项核对以下要点：
- 分级覆盖： 所有告警规则是否都分配了 P0–P4 级别？是否存在未分级的告警？
- 聚合粒度： 时间窗口是否合理（建议 5–10 min）？拓扑聚合是否依赖准确的 CMDB 数据？
- 抑制完备性： 是否定义了 P0 抑制所有、依赖抑制、维护窗口抑制三类规则？
- 静默审计： 所有静默操作是否记录操作人、原因、到期时间？是否定期清理过期静默？
- 自愈触发条件： 只有 P0–P2 告警才应触发 Runbook 自愈，P3/P4 仅入库。
核心原则： 告警体系的目标不是“不漏告警”，而是“在正确的时间，把正确的告警，发给正确的人（或系统）”。分级、聚合、抑制、静默四者配合，才能让 Runbook 自愈流程聚焦于真正需要自动修复的故障。