3. 延迟尖峰告警体系：告警指标、阈值设定与分级策略
构建有效的延迟尖峰告警体系，核心在于三个维度的精准设计：告警指标的选择决定了我们观测的视角；阈值设定原则决定了告警的灵敏度与准确性；告警分级策略则决定了响应资源的投入优先级。三者缺一不可，共同构成延迟风险的第一道防线。
3.1 告警指标：P99 / P95 / 平均值
延迟分布通常呈现长尾特征，单一指标无法全面反映系统状态。下表对比了三种核心指标的适用场景与优劣：
| 指标 | 定义 | 核心价值 | 典型缺陷 |
|---|---|---|---|
| P99 | 99% 的请求延迟低于该值 | 捕捉长尾延迟，反映最差体验 | 对偶发抖动敏感，易产生噪音告警 |
| P95 | 95% 的请求延迟低于该值 | 平衡敏感度与稳定性，适合常规监控 | 可能掩盖极端尖峰 |
| 平均值 | 所有请求延迟的算术平均 | 直观反映整体吞吐趋势 | 极易被长尾数据拉偏，掩盖真实问题 |
实践建议： 核心服务以 P99 作为主要告警指标，辅以 P95 作为趋势参考。平均值仅用于容量规划，不推荐作为告警触发条件。
3.2 告警阈值设定原则
阈值设定是告警体系中最容易出错的一环。过松则漏报，过紧则告警疲劳。以下是经过生产验证的四条核心原则：
- 基线动态化原则： 拒绝静态固定阈值。使用过去 7 天或 14 天同一时间窗口的延迟数据作为动态基线，告警阈值 = 基线值 × 倍数因子（通常为 1.5~3 倍）。
- 持续时间原则： 单点突刺不告警。延迟超过阈值必须持续 至少 30 秒 或连续 3 个数据点 才触发，避免因 GC 抖动或网络瞬断产生噪音。
- 业务差异化原则： 读接口与写接口、核心链路与非核心链路使用不同的阈值倍数。写接口通常允许更高的延迟容忍度。
- 季节性调整原则： 大促、秒杀、数据迁移等特殊时段，自动切换至预设的宽松阈值策略，避免误告警。
避坑提醒： 不要对所有接口使用统一的 P99 阈值。例如，登录接口 P99 为 200ms，而订单查询接口 P99 为 800ms，统一设为 500ms 会导致登录接口频繁误报，而订单接口漏报。
3.3 告警分级策略
分级策略的核心目标是将有限的 SRE 人力集中在最高风险的事件上。推荐采用 P0 ~ P3 四级体系，并与响应 SLA 绑定。
| 级别 | 触发条件示例 | 影响范围 | 响应要求 |
|---|---|---|---|
| P0 | P99 延迟 > 5 倍基线，持续 2 分钟 | 核心业务全局受损 | 立即响应，5 分钟内上线 |
| P1 | P99 延迟 > 3 倍基线，持续 5 分钟 | 核心业务局部受损 | 15 分钟内确认，30 分钟内处置 |
| P2 | P95 延迟 > 2 倍基线，持续 10 分钟 | 非核心业务或核心业务轻微抖动 | 1 小时内响应，可纳入值班队列 |
| P3 | 平均值异常升高，但 P99 正常 | 无直接用户影响，仅作为趋势预警 | 次日分析，纳入日报/周报 |
下图展示了从指标采集到分级告警的完整链路：
3.4 告警抑制与去重
在分级策略之上，必须叠加抑制与去重机制，否则分级本身无法解决告警风暴问题。
- 依赖抑制： 当上游服务（如数据库）已产生 P0 告警时，自动抑制下游所有衍生告警，避免告警雪崩。
- 时间窗口聚合： 同一服务、同一指标在 5 分钟内产生的同类告警，自动合并为一条，并附带发生次数。
- 静默期： 告警恢复后，同一指标进入 10 分钟静默期，防止抖动导致反复触发。
关键指标： 一个健康的告警体系，其 告警准确率（有效告警 / 总告警）应高于 85%，告警覆盖率（真实故障中被告警捕获的比例）应高于 95%。低于此标准，说明阈值或分级策略需要重新校准。
下图展示了告警抑制与去重的工作机制：
3.5 告警分级策略的落地检查清单
在完成上述设计后，建议使用以下清单进行自检：
| 检查项 | 验收标准 |
|---|---|
| 指标覆盖率 | 所有核心接口均已配置 P99 告警 |
| 阈值动态化 | 已接入基线系统，阈值随业务周期自动调整 |
| 分级映射 | P0/P1/P2/P3 均有明确的触发条件与响应 SLA |
| 抑制规则 | 已配置上下游依赖抑制关系 |
| 告警疲劳度 | 每 SRE 每日告警处理量 < 20 条 |
重要提醒： 告警体系不是一次性工程。建议每两周进行一次告警复盘，剔除无效告警规则，调整过敏感阈值。告警体系的健康度，直接决定了 SRE 团队的响应效率与信任度。