1. 告警复核基础概念

1.1 什么是告警复核

告警复核（Alert Review）是指在告警规则触发并发送通知之前或之后，由自动化系统或人工对告警的准确性、有效性、严重程度进行二次验证的过程。在 PromQL 语境下，告警复核特指对告警表达式（Alerting Rule）的查询结果、阈值逻辑、聚合方式、时间窗口等要素进行系统性检查，确保告警规则能够真实反映系统状态，避免误报、漏报和风暴。

1.2 为什么需要告警复核

未经复核的告警规则在生产环境中可能引发严重问题。以下表格总结了未复核告警的典型风险与复核后的收益：

1.3 告警复核在 SRE 体系中的位置

在 SRE 的运维体系中，告警复核位于监控观测与事件响应之间的核心衔接层。它不属于纯粹的监控配置，也不完全属于故障处理流程，而是作为质量门禁（Quality Gate）存在。

以下 SVG 图展示了告警复核在 SRE 闭环中的位置与上下游关系：

1.4 告警复核的三大核心维度

在 SRE 实践中，告警复核通常从以下三个维度展开，每个维度对应不同的检查要点：

• 表达式正确性：验证 PromQL 语法、标签匹配、聚合函数使用是否合理。例如 rate(http_requests_total[5m]) > 100 中的时间窗口是否匹配业务抖动周期。
• 阈值合理性：基于历史百分位、SLO 基线、季节性特征校准阈值。避免使用固定阈值处理动态负载。
• 业务有效性：确认告警事件是否真正影响用户体验或服务等级目标。例如 5xx 错误率告警应与 SLO 中的错误预算消耗挂钩。

1.5 告警复核的典型流程

标准化的告警复核流程通常包含以下步骤，SRE 团队可将其嵌入变更管理或日常巡检中：

1. 规则提取：从 Prometheus 配置或告警管理平台导出待复核的告警规则列表。
2. 表达式解析：逐条检查 PromQL 表达式的语法、函数使用、标签选择器是否准确。
3. 历史数据回放：使用 PromQL 的 query_range 接口回放过去 7~30 天的数据，模拟告警触发情况。
4. 误报/漏报分析：对比模拟结果与实际故障记录，标记误报和漏报的规则。
5. 阈值校准：根据历史百分位（P95/P99）或动态基线调整阈值与持续时间。
6. 业务对齐：确认告警事件与 SLO 偏差、错误预算消耗的关联性。
7. 规则更新与验证：修改规则后，再次回放验证，确认误报率降至可接受范围。
8. 文档与审计：记录复核结果、变更原因、复核人信息，形成可追溯的审计日志。

以下 SVG 图展示了告警复核流程的完整闭环：

1.6 告警复核的成熟度模型

不同 SRE 团队的告警复核实践深度差异较大。以下成熟度模型可帮助团队定位当前阶段并规划演进路径：