阈值基础：阈值定义、静态阈值与动态阈值、阈值设置原则

阈值是容量水位监控的“标尺”——它定义了系统在正常、预警、危险三种状态之间的分界线。错误的阈值会导致海量告警淹没值班人员，或让真正的容量风险悄然越过红线。本章从定义出发，厘清静态与动态阈值的适用场景，并给出避免抖动与误报的实操原则。

2.1 阈值定义与核心要素

阈值（Threshold）是一个预设的数值边界，用于判断指标是否处于异常状态。在 Prometheus 生态中，阈值通常以 告警规则表达式 的形式出现，例如：

# 当 CPU 使用率持续 5 分钟超过 80% 时触发告警
- alert: HighCPUUsage
  expr: avg by(instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) < 0.2
  for: 5m
  labels:
    severity: warning
  annotations:
    summary: "Instance {{ $labels.instance }} CPU usage > 80%"

一个完整的阈值定义包含三个要素：

2.2 静态阈值 vs 动态阈值

根据边界值的生成方式，阈值分为两大类：

2.2.1 静态阈值

由人工根据经验或容量规划文档设定的固定数值。优点在于简单、可解释性强；缺点是无法适应业务流量波峰波谷或硬件性能差异。

• 适用场景：基础设施层（CPU、内存、磁盘）、有明确 SLA 的指标（如延迟 < 200ms）。
• 典型问题：白天业务高峰时频繁误报，凌晨低峰时真实故障被淹没。

2.2.2 动态阈值

基于历史数据或同类实例的统计分布自动计算边界值。Prometheus 生态中常用 3σ（三倍标准差）、移动平均 或 分位数 实现。

• 适用场景：业务指标（QPS、错误率）、周期性明显的指标、大规模集群中实例间差异大的场景。
• 典型实现：使用 avg_over_time + stddev_over_time 计算动态基线。

# 动态阈值示例：当 QPS 偏离过去 1 小时均值超过 3 倍标准差时告警
- alert: QPSAnomaly
  expr: |
    rate(http_requests_total[5m])
    >
    (
      avg_over_time(rate(http_requests_total[5m])[1h:1m])
      +
      3 * stddev_over_time(rate(http_requests_total[5m])[1h:1m])
    )
  for: 2m

2.3 阈值设置原则：避免抖动与误报

阈值设置不当是告警疲劳的第一成因。以下四条原则直接决定监控系统的可信度：

原则一：为阈值添加“持续时间”缓冲

Prometheus 的 for 子句是最有效的防抖工具。指标短暂越过边界（如 GC 抖动、网络毛刺）不应触发告警。

# 错误做法：无持续时间，任何瞬时抖动都会告警
expr: node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes < 0.1

# 正确做法：持续 10 分钟低于 10% 才告警
expr: node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes < 0.1
for: 10m

原则二：使用“多级阈值”而非单一阈值

单一阈值要么太敏感（误报多），要么太迟钝（漏报多）。推荐设置 Warning（预警） 和 Critical（危险） 两级：

原则三：避免“硬编码”全局阈值

不同实例的硬件配置、业务角色不同，统一阈值必然导致误报。使用 Prometheus 的 label 或 group by 做差异化阈值：

# 按实例角色差异化阈值
- alert: HighCPUByRole
  expr: |
    avg by(instance, role) (rate(node_cpu_seconds_total{mode="idle"}[5m]))
    <
    label_replace(
      vector(0.2),  # 默认阈值 20% 空闲
      "role", "default", "", ""
    )
    or on(instance, role)
    avg by(instance, role) (rate(node_cpu_seconds_total{mode="idle"}[5m]))
    <
    label_replace(
      vector(0.1),  # 高负载 role 使用 10% 空闲
      "role", "compute", "", ""
    )

原则四：用“比率”代替“值”

值阈值（如“内存剩余 2GB”）在不同规格的机器上含义完全不同。优先使用百分比或归一化指标：

• 推荐：node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes < 0.1
• 不推荐：node_memory_MemAvailable_bytes < 2e9

2.4 小结