4. 复测报告核心指标：误报率、漏报率、平均响应时间、告警风暴频率

事故阈值复测报告的核心价值在于量化评估调整后的告警规则是否真正提升了监控质量。本章定义四个必须计算的黄金指标：误报率、漏报率、平均响应时间和告警风暴频率。这四个指标从准确性、时效性和稳定性三个维度覆盖了告警系统的健康度。

4.1 指标定义与计算公式

4.2 误报率与漏报率的计算流程

计算这两个指标需要建立“告警事件”与“真实故障事件”的关联矩阵。推荐使用以下步骤：

1. 收集复测周期内的所有告警记录：从 Alertmanager 导出告警列表，包含触发时间、标签、注解。
2. 收集复测周期内的所有故障工单或事件记录：从事故管理平台（如 PagerDuty、ServiceNow）导出。
3. 执行事件关联：按时间窗口（例如故障发生前后 5 分钟）和资源标签进行匹配。
4. 分类统计：
   • 真阳性 (TP)：有告警，有故障。
   • 假阳性 (FP)：有告警，无故障 → 误报。
   • 假阴性 (FN)：无告警，有故障 → 漏报。
   • 真阴性 (TN)：无告警，无故障（通常不参与计算）。
5. 代入公式：误报率 = FP / (TP + FP)；漏报率 = FN / (TP + FN)。

# 示例：Python 伪代码计算误报率和漏报率
alerts = load_alerts("复测告警.csv")
incidents = load_incidents("复测故障.csv")

tp = fp = fn = 0
for alert in alerts:
    if has_matching_incident(alert, incidents):
        tp += 1
    else:
        fp += 1

for incident in incidents:
    if not has_matching_alert(incident, alerts):
        fn += 1

false_positive_rate = fp / (tp + fp) * 100
false_negative_rate = fn / (tp + fn) * 100
print(f"误报率: {false_positive_rate:.2f}%")
print(f"漏报率: {false_negative_rate:.2f}%")

4.3 平均响应时间：端到端延迟分解

平均响应时间不是单一数值，而是由多个环节延迟累加而成。复测报告应分解以下三个子阶段：

• 检测延迟：从故障发生到 Prometheus 采集到异常指标的时间。通常受采集间隔（scrape_interval）影响。
• 评估延迟：从指标入库到 Alertmanager 完成规则评估并生成告警的时间。受评估间隔（evaluation_interval）和规则复杂度影响。
• 通知延迟：从告警生成到通知送达接收端（邮件、Slack、PagerDuty）的时间。受 Alertmanager 分组、抑制、静默配置和接收端响应速度影响。

# 响应时间分解示例（单位：秒）
detection_latency = 15    # 采集间隔 15s
evaluation_latency = 10   # 评估间隔 10s + 规则计算耗时
notification_latency = 5  # 分组等待 + 发送耗时
total_latency = detection_latency + evaluation_latency + notification_latency
print(f"端到端平均响应时间: {total_latency}s")

4.4 告警风暴频率：稳定性度量

告警风暴是指短时间内告警数量急剧上升，导致接收端被淹没、重要告警被忽略的现象。复测报告需要定义“风暴阈值”并统计频率。

风暴阈值定义方法：

• 方法一（固定阈值）：例如 5 分钟内告警数量超过 50 条即视为一次风暴。
• 方法二（动态基线）：基于历史数据计算正常告警量的 P99 分位数，超过 P99 的 2 倍即视为风暴。

频率计算公式：

告警风暴频率 = 风暴事件次数 / 复测总时长（小时）

例如：复测周期为 168 小时（7 天），共发生 3 次告警风暴，则频率为 3 / 168 ≈ 0.018 次/小时，低于 0.1 次/小时的理想阈值。

4.5 四指标联合评估矩阵

复测报告的最终结论不应只看单个指标，而应使用联合评估矩阵进行综合判定：

4.6 核心指标关系图

下图展示了四个核心指标之间的相互影响关系以及它们与告警系统健康度的关联：

4.7 复测报告指标计算示例

假设某次复测周期为 7 天（168 小时），收集到以下数据：

• 总告警数：120 条
• 真实故障数：15 次
• 真阳性 (TP)：12 次
• 假阳性 (FP)：8 条（误报）
• 假阴性 (FN)：3 次（漏报）
• 端到端响应时间：45s（检测 15s + 评估 10s + 通知 20s）
• 告警风暴事件：1 次（5 分钟内告警数超过 50 条）

计算结果：

4.8 指标可视化建议

在复测报告中，推荐使用以下图表类型呈现四个核心指标：

• 误报率 & 漏报率：堆叠柱状图或混淆矩阵热力图，展示 TP/FP/FN 的数量。
• 平均响应时间：箱线图或分位图，展示 P50、P90、P99 响应时间，而非仅展示平均值。
• 告警风暴频率：时间序列散点图，横轴为时间，纵轴为每分钟告警数，标注风暴阈值线。