📚 课程目录第3章阈值类型详解

3. 阈值类型详解：静态阈值、动态阈值、基于百分位数的阈值、复合阈值

阈值是告警规则的“扳机”。选错阈值类型，要么告警疲劳（太多误报），要么告警沉默（漏报真实故障）。本章逐一拆解四种核心阈值类型，并给出 Grafana 中的配置要点与适用场景。

3.1 静态阈值

静态阈值是最基础的告警方式：当指标值超过（或低于）一个固定数值时触发告警。例如“CPU 使用率 > 90%”或“内存可用字节 < 500 MB”。

  适用场景：资源上限类指标（CPU、内存、磁盘）、SLO 硬边界（错误率 > 1%）、合规性监控（响应时间 < 200ms）。

特性	说明
配置复杂度	极低，只需一个数值
误报率	高（无法适应业务潮汐）
漏报率	高（阈值设得太宽则漏报）
维护成本	高，需频繁人工校准

# Grafana 静态阈值示例（PromQL）
avg by(instance) (rate(node_cpu_seconds_total{mode="user"}[5m])) > 0.9

避坑提示：静态阈值对周期性负载（如白天高、夜间低）几乎无效。如果业务流量峰谷差超过 3 倍，请优先考虑动态阈值。

3.2 动态阈值

动态阈值基于历史数据自动计算基线，并围绕基线生成上下边界。当指标偏离基线超过设定倍数（如 3σ）时触发告警。Grafana 通过 Machine Learning 插件或内置的 动态阈值规则（8.0+）实现。

核心原理：使用移动平均 + 标准差（或更复杂的时序预测算法）生成动态上下界。基线会随业务趋势自动漂移，无需人工重设。

# Grafana 动态阈值规则示例（使用内置 ML 插件）
avg by(instance) (rate(http_requests_duration_seconds_sum[5m]))
  / avg by(instance) (rate(http_requests_duration_seconds_count[5m]))
  > dynamic_threshold(deviation=3, window="7d")

参数	推荐值	说明
deviation	2 ~ 4	标准差倍数，越大越不敏感
window	7d / 14d / 28d	历史窗口长度，覆盖完整业务周期
seasonality	auto / 24h / 7d	周期性模式，自动检测或手动指定

3.3 基于百分位数的阈值

百分位数阈值关注“大多数请求的体验”，而非平均值。例如 P99 延迟 > 500ms 表示 99% 的请求都在 500ms 以内，只有 1% 的慢请求被容忍。Grafana 使用 histogram_quantile() 函数从直方图指标中计算百分位数。

  为什么用百分位数？平均值会掩盖长尾问题。例如 90% 请求 100ms，10% 请求 10s，平均延迟约 1s，看起来正常，但 P99 可能高达 8s，用户体验极差。

# Grafana 百分位数阈值示例（P99 延迟告警）
histogram_quantile(0.99, 
  sum by(le) (rate(http_request_duration_seconds_bucket[5m]))
) > 0.5

百分位	含义	典型告警阈值
P50（中位数）	一半请求快于此值	不常用作告警
P90	90% 请求快于此值	P90 > 1s
P95	95% 请求快于此值	P95 > 2s
P99	99% 请求快于此值	P99 > 500ms

注意：百分位数阈值依赖直方图指标（_bucket），如果指标没有分桶，无法计算。另外，P99 对采样频率敏感，建议使用 1m 或 5m 窗口平滑。

3.4 复合阈值

复合阈值将多个条件通过 AND/OR 组合，只有当所有条件同时满足时才触发告警。Grafana 支持在同一个告警规则中定义多条查询，并使用 条件表达式（如 A && B、A || B）组合。

典型场景：“CPU 高且内存高”才告警，避免单指标抖动误报；“错误率上升或延迟飙升”任一条件触发，确保不遗漏。

// Grafana 复合阈值规则配置（伪代码）
// 查询 A：CPU 使用率
avg by(instance) (rate(node_cpu_seconds_total{mode="user"}[5m])) > 0.85

// 查询 B：内存使用率
(1 - node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes) > 0.9

// 条件表达式：A && B
// 只有两个条件同时为 true 时才触发告警

组合方式	语法	效果
AND	A && B	所有条件满足才告警，减少误报
OR	A \|\| B	任一条件满足即告警，防止漏报
混合	(A && B) \|\| C	复杂业务逻辑，灵活组合

  最佳实践：复合阈值是减少告警疲劳的利器。建议将“资源双高”“错误率+延迟双升”等组合作为 P0 告警的默认配置，单指标抖动降级为 P2 或 P3。

3.5 四种阈值类型对比总结

类型	配置难度	适应动态负载	误报率	推荐场景
静态阈值	★☆☆☆☆	否	高	硬性资源上限、合规边界
动态阈值	★★★☆☆	是	低	周期性业务、流量潮汐
百分位数阈值	★★☆☆☆	部分	中	延迟、长尾性能监控
复合阈值	★★★★☆	取决于子条件	极低	多维度故障检测、P0 告警