4. 阈值策略基础：静态阈值与动态阈值、阈值的作用范围、阈值的粒度选择
阈值是告警策略中最核心的“触发器”。一个错误的阈值设定，要么导致海量无效告警淹没真实故障，要么让关键异常悄然溜走。本章从阈值的基础分类、作用范围与粒度选择三个维度，建立系统化的阈值设计方法论。
4.1 静态阈值 vs 动态阈值
阈值按生成方式可分为静态阈值与动态阈值两大类。两者在适用场景、维护成本和灵敏度上存在显著差异。
| 对比维度 | 静态阈值 | 动态阈值 |
|---|---|---|
| 定义方式 | 人工预设固定数值，如 CPU > 90% | 基于历史数据或算法自动计算，如偏离基线 ±3σ |
| 适用场景 | 资源水位、硬件容量、固定配额类指标 | 业务流量、响应时间、错误率等波动性指标 |
| 维护成本 | 低，一次设定长期有效 | 高，需持续采集数据并训练模型 |
| 灵敏度 | 固定，无法适应业务峰谷 | 自适应，能识别周期性或趋势性异常 |
| 误报率 | 高（阈值过紧）或漏报（阈值过松） | 较低，但需防范模型漂移 |
实践建议： 对于基础设施层指标（CPU、内存、磁盘），优先使用静态阈值；对于业务层指标（QPS、延迟、成功率），优先使用动态阈值。混合使用两种策略，可兼顾稳定性与灵敏度。
下图展示了静态阈值与动态阈值在应对业务流量波动时的差异：
4.2 阈值的作用范围
阈值的作用范围决定了告警规则覆盖的对象集合。错误的作用范围选择，会导致告警风暴或监控盲区。常见的作用范围包括以下四种：
- 全局范围： 作用于整个集群或服务，如“集群整体 CPU 使用率 > 80%”。适用于容量规划和全局健康度判断。
- 实例范围： 作用于单个实例或节点，如“主机 A 内存使用率 > 90%”。适用于定位具体故障点。
- 分组范围： 作用于具有相同标签的实例组，如“所有 Redis 从库的复制延迟 > 5s”。适用于同类组件的批量监控。
- 聚合范围： 作用于聚合后的统计值，如“P99 延迟 > 500ms”。适用于关注整体服务质量而非个体表现。
常见陷阱： 将全局阈值直接套用到实例级别，会导致“少数高负载实例触发全局告警”的误判。反之，将实例阈值用于全局聚合，则可能因平均效应掩盖局部故障。务必根据监控目标选择匹配的作用范围。
下图展示了不同作用范围在监控拓扑中的覆盖关系：
4.3 阈值的粒度选择
阈值粒度指阈值应用的最小时间窗口或数据采样单元。粒度选择直接影响告警的实时性与稳定性。常见的粒度维度包括：
| 粒度类型 | 典型值 | 优势 | 劣势 |
|---|---|---|---|
| 时间窗口粒度 | 1min / 5min / 10min | 窗口越大，抖动越少 | 窗口越大，响应越慢 |
| 数据点粒度 | 原始值 / 平均值 / 最大值 | 原始值最灵敏，平均值最平滑 | 原始值易误报，平均值易漏报 |
| 持续周期粒度 | 连续 N 个周期 | 有效过滤瞬时毛刺 | N 过大则延迟严重 |
粒度选择黄金法则： 对于延迟敏感型指标（如支付成功率），使用 1min 窗口 + 原始值 + 连续 2 周期；对于容量型指标（如磁盘使用率），使用 10min 窗口 + 平均值 + 连续 3 周期。始终在灵敏度与稳定性之间寻找平衡。
下表给出了不同场景下的粒度推荐配置：
| 监控场景 | 推荐时间窗口 | 推荐数据点 | 持续周期 | 说明 |
|---|---|---|---|---|
| CPU 使用率 | 5min | 平均值 | 3 | 避免短时进程抖动触发告警 |
| 内存使用率 | 10min | 最大值 | 2 | 关注峰值是否接近 OOM |
| 接口 P99 延迟 | 1min | 原始值 | 2 | 快速感知服务质量劣化 |
| 磁盘空间 | 30min | 平均值 | 1 | 容量变化缓慢，无需高频检测 |
| 错误日志速率 | 1min | 原始值 | 1 | 异常日志需立即响应 |
进阶技巧： 对于同一指标，可设置多组不同粒度的阈值规则。例如：1min 窗口 + 连续 2 周期用于快速告警，10min 窗口 + 连续 3 周期用于确认告警。通过“快慢结合”策略，既保证响应速度，又降低误报率。
阈值粒度的选择并非一成不变。随着业务演进和数据特征变化，应定期回顾并调整粒度参数。建议每季度对告警规则进行一次粒度审计，重点关注“告警延迟”与“误报率”两个指标，持续优化阈值策略。