4. 阈值策略基础：静态阈值 vs 动态阈值、固定阈值法的优缺点
告警阈值是故障响应链条的“第一道闸门”。阈值设置过松，故障被淹没在噪声中；阈值设置过紧，运维团队陷入告警疲劳。本章从最基础的阈值分类出发，剖析静态与动态阈值的本质差异，并重点评估固定阈值法在工程落地中的实际表现。
4.1 静态阈值 vs 动态阈值：核心对比
阈值策略按“是否随时间或数据分布自适应调整”可分为两大类：
| 对比维度 | 静态阈值（固定阈值） | 动态阈值（自适应阈值） |
|---|---|---|
| 定义 | 由人工预设一个固定数值或百分比，超过即告警 | 基于历史数据、周期性或机器学习模型自动计算阈值 |
| 配置方式 | 手动配置，一次设置长期生效 | 算法驱动，定期或实时更新 |
| 适应能力 | 无法应对业务流量波动、版本变更等场景 | 自动适应日周期、周周期、突发流量等变化 |
| 误报率 | 高（尤其在低峰期或高峰期） | 低（通过基线偏移检测过滤噪声） |
| 漏报率 | 高（阈值设置过宽时） | 低（能捕捉微小但持续的异常趋势） |
| 运维成本 | 初期低，后期需频繁人工调参 | 初期高（算法选型、数据清洗），后期自动化 |
| 适用场景 | 资源水位（CPU/内存）、硬件故障、简单上下限 | 业务指标（QPS/延迟/错误率）、有规律波动的系统 |
关键认知： 静态阈值不是“错误”，而是“工具”。在资源类指标（如磁盘使用率 > 90%）上，静态阈值简单有效；在业务类指标（如 API 延迟 p99）上，静态阈值几乎必然导致告警风暴或漏报。
4.2 固定阈值法的优缺点深度分析
固定阈值法（Static Thresholding）是运维领域最古老、最普及的告警策略。其核心逻辑是：if metric > threshold → alert。下面从工程落地角度拆解其优缺点。
4.2.1 优点
- 部署极简： 无需历史数据、无需训练模型，一行配置即可生效。Prometheus 中
alert: cpu_usage > 80即是一个完整规则。 - 可解释性强： 运维人员能直观理解“为什么告警”，排障时无需额外分析基线算法。
- 计算开销低： 监控系统只需做一次数值比较，不消耗额外 CPU/内存资源。
- 适合硬性约束： 如“磁盘空间不可超过 95%”“SSL 证书剩余天数 < 30”，这类场景天然适合固定阈值。
4.2.2 缺点
- 无法适应周期性波动： 白天业务高峰期的 80% CPU 可能是正常，凌晨低峰期的 80% CPU 则一定是异常。固定阈值无法区分。
- 阈值选择困难： 设置过高导致漏报，设置过低导致误报。运维团队常陷入“调阈值—观察—再调”的死循环。
- 多指标组合爆炸： 当系统有 1000 个指标时，每个指标都需要人工设定阈值，维护成本呈线性增长。
- 对缓慢恶化不敏感： 内存泄漏导致的内存使用率从 60% 缓慢增长到 85%，固定阈值在达到 90% 前不会告警，错过早期干预窗口。
工程陷阱： 很多团队在初期使用固定阈值时，会设置“宽阈值”来避免告警疲劳。结果往往是：真正的故障发生时阈值还没被突破，而日常的抖动却频繁触发告警。这是固定阈值法最典型的“两难困境”。
4.3 固定阈值法的典型失效模式（SVG 图示）
下图展示了一个典型 Web 服务的 CPU 使用率曲线。固定阈值 80% 在白天高峰期频繁误报，而在凌晨真实故障（内存泄漏导致 CPU 缓慢爬升）时却未能及时告警。
4.4 何时应该坚持使用固定阈值？
尽管动态阈值是趋势，但以下场景中固定阈值法仍然是更优选择：
- 资源饱和类指标： 磁盘使用率、内存使用率、inode 使用率——这些指标有明确的物理上限，超过即危险。
- 合规与 SLA 硬约束： 如“SSL 证书过期前 30 天告警”“备份失败次数 > 0”。
- 基础设施层告警： 服务器宕机、网络连通性、进程存活——这些是二值状态，无需动态调整。
- 团队初期阶段： 当历史数据不足、监控体系刚搭建时，固定阈值是快速建立告警覆盖度的最佳起点。
最佳实践： 建议采用“混合阈值策略”——对基础设施和资源类指标使用固定阈值，对业务指标和延迟类指标使用动态阈值。这样既能保证核心告警的可靠性，又能降低业务告警的噪声。
4.5 固定阈值法的工程落地清单
如果你决定在部分场景继续使用固定阈值法，请遵循以下检查清单：
- 基于百分位数而非平均值： 例如使用 p99 延迟而非平均延迟，避免被长尾请求掩盖。
- 设置多级阈值： 如 Warning（70%）、Critical（85%）、Emergency（95%），分级响应。
- 结合持续时间条件： 如“CPU > 80% 持续 5 分钟”而非瞬时告警，过滤毛刺。
- 定期复审阈值： 每季度或每次大版本发布后，重新评估阈值合理性。
- 记录阈值变更历史： 使用 Git 或 CMDB 管理阈值配置，便于回溯和审计。
# Prometheus 中固定阈值告警规则示例（带持续时间）
groups:
- name: static_thresholds
rules:
- alert: HighCPUUsage
expr: cpu_usage_percent > 80
for: 5m
labels:
severity: warning
annotations:
summary: "CPU usage is above 80% for more than 5 minutes"
- alert: DiskSpaceCritical
expr: disk_usage_percent > 90
for: 2m
labels:
severity: critical
annotations:
summary: "Disk space is critically low ({{ $value }}%)"