📚 课程目录第4章降噪阈值策略概述

4. 降噪阈值策略概述：阈值、聚合、抑制、静默四大核心机制

在 On-Call 场景中，告警降噪并非单一手段，而是由 阈值（Threshold）、聚合（Aggregation）、抑制（Suppression）、静默（Silence） 四大核心机制协同构成的策略体系。本章从定义、作用域、典型参数三个维度，逐一拆解每种机制的设计原理与调优方向。

4.1 四大机制对比总览

机制	核心目标	作用阶段	典型参数
阈值	过滤低价值信号，只保留有效告警	告警产生前	静态阈值、动态基线、百分位
聚合	将多条相关告警合并为一条事件	告警产生后、路由前	时间窗口、标签分组、聚合算法
抑制	阻断已知故障引发的衍生告警	告警路由中	依赖关系、抑制规则、恢复条件
静默	在特定时段或条件下屏蔽告警	告警通知前	静默时间窗、匹配标签、维护模式

调优顺序建议： 先调阈值（减少无效信号），再配聚合（压缩重复事件），然后设置抑制（消除衍生风暴），最后用静默处理计划内变更。跳过前序步骤直接配置静默，容易掩盖真实故障。

4.2 阈值（Threshold）—— 第一道降噪防线

阈值决定了“什么值得报警”。错误的阈值设置是告警风暴的根源。阈值策略分为三类：

静态阈值： 固定数值，如 CPU > 90%。简单但无法适应业务潮汐。
动态基线： 基于历史数据自动计算上下界，如“偏离昨日同期 3σ”。适合周期性负载。
复合阈值： 多条件组合，如“错误率 > 5% 且持续 3 分钟”。减少瞬态抖动。

实战参数示例（Prometheus 规则）：

# 静态阈值
- alert: HighCPU
  expr: cpu_usage > 0.90

# 动态基线（使用预测函数）
- alert: AnomalyLatency
  expr: |
    avg_over_time(request_duration_seconds[5m])
    >
    predict_linear(request_duration_seconds[1h], 600) * 1.5

# 复合阈值（持续条件）
- alert: ErrorBurst
  expr: |
    rate(http_errors_total[1m]) > 0.05
    and
    rate(http_errors_total[5m]) > 0.03
  for: 3m

4.3 聚合（Aggregation）—— 合并同类项

聚合将具有相同根因的告警合并为一条“聚合告警”，避免 On-Call 工程师被重复通知淹没。核心参数包括：

分组标签： 按 service、cluster、region 等维度聚合。
时间窗口： 窗口内到达的同类告警只发一条。
聚合算法： 计数、取最大值、取最新值等。

聚合策略	适用场景	窗口长度建议
按实例聚合	单机故障，多指标同时触发	1-5 分钟
按服务聚合	服务级降级，所有实例均异常	2-10 分钟
按错误码聚合	特定错误码批量出现	1-3 分钟

常见陷阱： 窗口过长（> 15 分钟）会延迟关键告警；窗口过短（< 30 秒）则聚合效果微弱。建议从 3 分钟起步，根据告警到达速率逐步调整。

4.4 抑制（Suppression）—— 阻断衍生风暴

抑制基于故障依赖关系，当上游或根因组件已触发告警时，自动屏蔽下游衍生告警。典型场景：数据库宕机 → 所有依赖该数据库的服务均报错。

抑制规则通常包含三个要素：

源告警（Source）： 根因告警，如“数据库不可用”。
目标告警（Target）： 被抑制的衍生告警，如“API 超时”。
匹配条件： 标签匹配规则，如 cluster=prod。

抑制规则示例（Alertmanager 配置）：

inhibit_rules:
  - source_match:
      severity: 'critical'
      alertname: 'DatabaseDown'
    target_match:
      severity: 'warning'
    equal:
      - 'cluster'      # 仅在同一集群内生效

4.5 静默（Silence）—— 计划内免打扰

静默用于已知操作（如发布、维护、压测）期间，临时屏蔽特定告警。与抑制不同，静默是主动、计划性的，而非基于故障依赖。

静默配置的关键参数：

匹配器： 按标签匹配要静默的告警。
时间窗口： 开始时间、结束时间或持续时间。
创建者与原因： 用于审计和追溯。

最佳实践： 静默必须设置自动过期时间，避免“永久静默”掩盖真实故障。建议静默窗口 = 预计维护时长 + 15 分钟缓冲。

4.6 四大机制协同流程

下图展示了告警从产生到通知的完整降噪链路：

4.7 参数调优的通用原则

四大机制的参数并非孤立调优，需遵循以下原则：

从粗到细： 先设置宽松阈值（如 CPU > 95%），再逐步收紧至合理范围。
基于历史数据： 分析过去 7 天的告警分布，确定聚合窗口和抑制规则的基线。
可观测性先行： 每次调整参数后，观察告警量变化和 MTTA（平均确认时间）指标。
避免过度降噪： 保留至少 10% 的冗余告警作为安全边际，防止漏报。

调优检查清单：

□ 阈值是否覆盖了 90% 以上的正常波动？
□ 聚合窗口是否小于 SLO 的响应时间要求？
□ 抑制规则是否覆盖了已知的依赖链路？
□ 静默是否设置了自动过期时间？
□ 是否有至少一个“免降噪”通道用于关键告警？