📚 课程目录第3章阈值策略基础

3. 阈值策略基础：静态阈值 vs 动态阈值、阈值设置的原则

阈值是告警系统的“触发器”，决定了何时将观测数据转化为告警事件。错误的阈值设置会导致两种极端：过度告警（告警风暴，MTTR 被无效告警淹没）或漏报（故障未被及时发现，MTTR 被动延长）。本章从阈值类型、设置原则两个维度，建立科学的阈值策略基础。

3.1 静态阈值 vs 动态阈值

静态阈值和动态阈值是两种最基础的阈值模式，其核心差异在于阈值是否随时间或业务特征自适应变化。

对比维度	静态阈值	动态阈值
定义	固定数值或百分比，不随时间变化	基于历史数据或实时特征自动调整
适用场景	资源水位（CPU/内存/磁盘）、硬件故障	业务流量、响应时间、错误率等周期性指标
优点	简单、直观、易于理解	适应业务波动，减少误报
缺点	无法适应业务峰谷，易产生误报或漏报	依赖历史数据质量，计算复杂度高
典型例子	CPU 使用率 > 90% 持续 5 分钟	响应时间超过基线 + 2σ 持续 3 分钟

实践建议：在告警治理初期，优先使用静态阈值覆盖基础设施层（CPU、内存、磁盘），对业务层指标（QPS、延迟、错误率）逐步引入动态阈值。静态阈值是“及格线”，动态阈值是“优化线”。

3.2 阈值设置的核心原则

无论选择静态还是动态阈值，都必须遵循以下原则，以在“过度告警”和“漏报”之间找到平衡点。

原则一：基于业务影响，而非仅凭技术指标

阈值应反映用户可感知的故障，而非纯技术数值。例如：

错误率：设置 1% 错误率阈值，而非 0.1%（避免过度告警）
响应时间：P99 响应时间 > 2s 告警，而非平均值 > 500ms
资源使用率：CPU 使用率 > 90% 持续 10 分钟，而非瞬时 80%

原则二：引入持续时间（Duration）

单一数据点触发告警是过度告警的主要来源。通过“持续 N 个周期”或“持续 M 分钟”来过滤瞬态尖峰。

  示例：错误率 > 5% 持续 3 分钟（而非 1 分钟），可过滤掉 70% 的瞬态误报，同时不影响真实故障的发现。

原则三：分层设置，避免“一刀切”

不同服务、不同环境（生产/预发/测试）应有不同的阈值。推荐使用阈值模板管理：

层级	指标	静态阈值	动态阈值基线	持续时间
核心服务	错误率	1%	基线 + 3σ	3 分钟
非核心服务	错误率	5%	基线 + 5σ	5 分钟
基础设施	CPU 使用率	90%	—	10 分钟
基础设施	磁盘使用率	85%	—	30 分钟

原则四：避免“阈值漂移”

阈值设置后，应定期（如每季度）根据实际告警数据复盘调整。常见漂移现象：

阈值过松：长期无告警，但故障发生时已造成影响
阈值过紧：告警量持续高位，运维人员开始忽略告警
业务变化：大促、版本更新后阈值未同步调整

避坑指南：不要一次性设置所有阈值。建议采用“渐进式”策略：先设置宽松阈值（减少漏报），运行 2 周后根据告警量逐步收紧（减少过度告警）。每次调整记录变更原因和效果。

3.3 阈值设置的五步法

以下是一个可操作的阈值设置流程，适用于大多数运维场景：

收集历史数据：至少 30 天的指标数据，包含正常和异常时段
确定基线：计算均值、P50、P90、P99 等统计值
设定初始阈值：静态阈值 = P90 或 P99；动态阈值 = 基线 ± 2σ~3σ
加入持续时间：根据指标波动频率，设置 3~10 分钟持续窗口
验证与迭代：运行 1 周，检查告警准确率（Precision）和召回率（Recall），调整阈值

3.4 过度告警与漏报的平衡策略

在实际运维中，过度告警和漏报是一对矛盾。以下策略可帮助找到平衡点：

问题	表现	根因	解决策略
过度告警	告警量 > 100 条/天/服务	阈值过紧、无持续时间、未区分业务等级	放宽阈值、增加持续时间、引入动态阈值
漏报	故障发生但无告警	阈值过松、未覆盖关键指标、忽略慢速增长	收紧阈值、增加指标覆盖、使用异常检测
告警疲劳	运维人员忽略告警	过度告警导致信任丧失	告警降噪、分级、聚合

关键指标：使用 告警准确率（Precision） 和 告警召回率（Recall） 量化阈值效果。
Precision = 有效告警数 / 总告警数（越高越好）
Recall = 被告警覆盖的故障数 / 总故障数（越高越好）
目标：Precision > 80%，Recall > 95%。