4. 告警规则设计基础：阈值、趋势、同比/环比、异常检测在日志指标上的应用

日志黄金指标（延迟、流量、错误、饱和度）一旦接入可观测性平台，下一步就是设计精准的告警规则。如果规则设计不当，要么漏报核心故障，要么被海量噪声淹没。本章从最基础的静态阈值出发，逐步引入趋势、同比/环比和统计异常检测方法，并说明每种方法在日志指标上的适用场景与配置要点。

4.1 静态阈值：最直接但最脆弱

静态阈值是告警规则的起点：当指标超过或低于某个固定数值时触发告警。例如“错误日志量 > 100 次/分钟”或“P99 延迟 > 500ms”。

4.2 趋势告警：捕捉持续恶化

趋势告警不关注单点值，而是关注指标在时间窗口内的变化方向与速率。例如“错误日志量在过去 15 分钟内持续上升”或“P99 延迟的 5 分钟移动平均线斜率 > 0.1”。

• 斜率检测：对时间序列做线性回归，当斜率超过阈值时触发。
• 连续递增计数：连续 N 个数据点都比前一个点高，则告警。
• 移动平均交叉：短期均线上穿长期均线（类似股票技术分析）。

趋势告警对缓慢演变的故障（如内存泄漏、连接池耗尽）非常有效，但需要合理设置窗口长度和灵敏度，避免被毛刺数据干扰。

4.3 同比/环比：消除周期噪声

同比和环比是消除时间周期影响的标准方法，在日志指标告警中尤其适合有明显日周期或周周期的业务。

4.4 异常检测：3-Sigma 与移动平均

当指标模式复杂、无法用固定阈值或简单同比覆盖时，统计异常检测方法可以自动学习正常范围。本节重点介绍两种在日志指标上最实用的方法。

4.4.1 3-Sigma 检测

基于正态分布假设：如果指标值偏离均值超过 3 倍标准差，则视为异常。公式：|x - μ| > 3σ。

• 优点：计算简单，无需训练数据，适合快速部署。
• 缺点：对非正态分布（如长尾延迟）效果差；对周期性数据需要先做差分或去周期。
• 日志指标适用场景：错误率、CPU 使用率、GC 暂停时间等近似正态分布的指标。

# 伪代码：3-Sigma 实时检测
window = [12.1, 11.8, 12.3, 11.9, 12.0, 18.5]  # 最近 6 个数据点
mean = 13.1
std  = 2.6
threshold = mean + 3 * std  # 13.1 + 7.8 = 20.9
current = 18.5
if current > threshold:
    print("异常触发")
else:
    print("正常")
# 输出：正常（18.5 < 20.9）

4.4.2 移动平均 + 动态阈值

使用指数加权移动平均（EWMA）或简单移动平均（SMA）作为动态基线，再结合残差标准差设定上下界。这种方法对趋势和周期有天然适应能力。

• EWMA：s_t = α * x_t + (1 - α) * s_{t-1}，α 越小平滑越强。
• 动态边界：基线 ± k * 残差标准差（k 通常取 2~3）。
• 日志指标适用场景：请求量、延迟、错误日志量等有明显趋势和周期的指标。

# 伪代码：EWMA + 动态阈值
alpha = 0.3
baseline = 100.0
residual_std = 15.0
current = 155.0

new_baseline = alpha * current + (1 - alpha) * baseline  # 116.5
upper_bound = new_baseline + 3 * residual_std            # 161.5
lower_bound = new_baseline - 3 * residual_std            # 71.5

if current > upper_bound or current < lower_bound:
    print("异常触发")
else:
    print("正常")
# 输出：正常（155 < 161.5）

4.5 组合策略：多维度降噪

单一告警方法总有盲区。生产环境的最佳实践是组合使用多种方法，形成“投票”或“分级”机制。

• AND 组合：同比异常 且 移动平均异常，才触发告警，降低误报。
• OR 组合：静态阈值超限 或 趋势持续上升，触发告警，减少漏报。
• 分级组合：同比异常 → P3 告警；同比异常 + 趋势恶化 → P2 告警；同比异常 + 趋势恶化 + 静态阈值超限 → P1 告警。

4.6 实战配置清单

在 Prometheus + Alertmanager 或类似平台中配置日志指标告警时，建议按以下清单逐项检查：

1. 指标选择：确认是计数型（Counter）还是分布型（Histogram/Summary），选择对应的检测方法。
2. 窗口大小：趋势和移动平均的窗口通常设为 5~15 分钟，太短易被毛刺干扰，太长延迟高。
3. 同比基线周期：默认使用 24 小时前的同一时间窗口，对于周周期业务使用 7 天前。
4. 3-Sigma 的 k 值：生产环境建议 k=3（严格）或 k=2.5（中等），先观察一周再调整。
5. 移动平均 α 值：EWMA 的 α 通常取 0.2~0.4，α 越大对近期数据越敏感。
6. 静默期：告警触发后至少静默 5 分钟，避免重复通知。
7. 分级与聚合：相同故障的多个告警应聚合为一条，减少告警风暴。