2. 告警噪声分类学：定义并区分抖动噪声、突发噪声、基线漂移噪声、依赖噪声与配置噪声
告警噪声并非单一现象。在 Metric Design 实践中，我们将噪声归纳为五种可识别、可归因、可治理的原型。每种噪声的生成机制、时间特征、消除策略均不相同。分类是降噪的第一步——只有准确分类，才能为每种噪声设计针对性的阈值策略。
2.1 五种噪声原型总览
| 噪声类型 | 时间特征 | 根因归属 | 典型指标 | 降噪优先级 |
|---|---|---|---|---|
| 抖动噪声 | 高频、短时、随机 | 系统内部微波动 | CPU 瞬时尖刺、GC 暂停 | 高（最常见） |
| 突发噪声 | 陡升陡降、持续秒~分钟 | 流量脉冲、批量任务 | 请求量毛刺、连接池耗尽 | 中（需区分真伪） |
| 基线漂移噪声 | 缓慢、趋势性、不可逆 | 业务增长、配置变更 | 内存占用日增、P99 延迟爬坡 | 中（需重新基线） |
| 依赖噪声 | 级联、同步、跨服务 | 下游故障传导 | 上游超时、DB 连接失败 | 低（需拓扑感知） |
| 配置噪声 | 离散、无规律、人为 | 阈值误设、采集错误 | 空指标、零值告警 | 最高（立即修复） |
2.2 五种噪声的详细定义与区分
2.2.1 抖动噪声 (Jitter Noise)
抖动噪声是系统在稳态运行时，由于操作系统调度、JVM GC、网络微抖动、CPU 抢占等微观因素导致的指标瞬时波动。其特点是：频率高、幅度小、自恢复快。典型场景：CPU 使用率在 30% 基线附近每 10 秒出现一次 80% 的 1 秒尖刺。
- 识别方法： 持续时间 < 3 个采集周期，恢复后指标回到原基线。
- 降噪策略： 引入
for持续时间（如 Prometheus 的for: 5m）、使用 EWMA 平滑、或设置“连续 N 次超阈值”条件。 - 误判风险： 将真正的微突发（如 1 秒的请求洪峰）误判为抖动。
2.2.2 突发噪声 (Burst Noise)
突发噪声由外部流量脉冲、定时任务、批量操作或发布部署引发。指标呈现陡峭上升、平台期、陡峭下降的三段式形态。与抖动噪声的关键区别在于：突发噪声的幅度通常更大，且可能伴随业务影响。
- 识别方法： 变化率（derivative）在短时间内超过阈值，且与已知事件（如整点 cron、发布窗口）相关。
- 降噪策略： 使用“基于速率的阈值”（如每秒请求量 > 基线的 3 倍）、设置“突发窗口”忽略短时毛刺、或通过事件关联自动抑制。
- 误判风险： 将真正的容量瓶颈（如流量洪峰导致 OOM）误判为可忽略的突发。
2.2.3 基线漂移噪声 (Baseline Drift Noise)
基线漂移是系统长期运行中，由于业务增长、数据积累、缓存预热或配置渐变导致的指标缓慢上升或下降。它不是故障，而是系统状态的自然演化。典型场景：内存使用率每周增长 2%，三个月后从 40% 漂移到 70%，触发固定阈值告警。
- 识别方法： 使用线性回归或季节性分解，检测指标长期趋势（如 7 天移动平均线的斜率）。
- 降噪策略： 采用动态基线（如基于历史同期数据的百分位阈值）、定期自动校准阈值、或设置“漂移告警”而非“固定阈值告警”。
- 误判风险： 将真正的性能退化（如内存泄漏）误判为正常漂移。
2.2.4 依赖噪声 (Dependency Noise)
依赖噪声是服务调用链中，下游服务故障或延迟传导到上游服务引发的“假阳性”告警。上游服务本身健康，但指标因下游异常而异常。这是微服务架构中最具迷惑性的噪声类型。
- 识别方法： 告警指标与下游服务的错误率/延迟指标存在强相关性；告警时间与下游故障时间高度重叠。
- 降噪策略： 实现告警拓扑感知（如通过 Service Graph 自动抑制上游告警）、设置“依赖错误预算”阈值、或使用 RED 方法区分“自身错误”与“依赖错误”。
- 误判风险： 过度抑制导致真正的上游故障被掩盖。
2.2.5 配置噪声 (Configuration Noise)
配置噪声是人为错误或配置缺陷导致的告警，与系统运行状态无关。这是唯一一种完全不应该存在的噪声。典型场景：阈值设置过低（如磁盘使用率告警设为 10%）、采集器配置错误导致空指标、或告警规则语法错误导致持续触发。
- 识别方法： 告警无对应真实事件、指标值为零或恒定、告警在规则变更后立即出现。
- 降噪策略： 实施告警规则代码审查（Code Review）、自动化规则验证（如 Dry-Run 模式）、设置“告警规则健康检查”指标。
- 误判风险： 无（配置噪声本身就是错误）。
2.3 噪声分类决策树
以下 SVG 图展示了从一条告警出发，通过时间特征、幅度特征和根因归属三个维度，快速定位噪声类型的决策路径。
2.4 噪声分类的实践应用：一个真实案例
某电商平台在双十一大促期间收到以下三条告警，通过分类学快速定位并处理：
| 告警内容 | 时间特征 | 分类结果 | 处理动作 |
|---|---|---|---|
CPU > 90% (持续 10s) |
高频短时，每秒出现一次 | 抖动噪声 | 增加 for: 5m 条件，忽略瞬时尖刺 |
订单服务 P99 > 500ms |
持续 15 分钟，与支付服务故障时间重叠 | 依赖噪声 | 自动抑制订单服务告警，聚焦支付服务根因 |
磁盘使用率 > 80% |
持续触发，但实际使用率仅 45% | 配置噪声 | 发现采集器误将临时目录计入，修复采集配置 |
2.5 噪声分类与阈值策略的映射关系
每种噪声类型对应不同的阈值策略。以下 SVG 图展示了五种噪声与阈值策略的映射关系，帮助你在设计阈值时“对症下药”。
2.6 噪声分类的落地检查清单
在团队中推广噪声分类学时，建议使用以下清单确保分类准确且可执行：
- 自动化分类规则： 在告警平台中编写规则，根据指标持续时间、变化率、关联事件自动打标。例如：持续时间 < 3 个采集周期 → 标记为“抖动”。
- 人工标注反馈： 值班人员在处理告警时，可手动修正分类标签。每月分析标注偏差，优化自动化规则。
- 噪声占比仪表盘： 创建 Grafana 仪表盘，展示五种噪声的占比趋势。目标：配置噪声占比 < 1%，抖动噪声占比 < 20%。
- 阈值策略关联： 每种噪声类型对应一个阈值策略模板。例如：抖动噪声 → 使用
for: 5m模板；基线漂移噪声 → 使用动态基线模板。 - 定期审计： 每季度进行一次噪声分类审计，检查是否有新的噪声模式出现（如因新架构引入的依赖噪声）。