4. 阈值设定方法：静态阈值、动态阈值、基于统计的异常检测
阈值怎么设？这个问题我几乎在每个项目里都会被问到。有人直接拍脑袋定个 80%，有人翻文档照搬默认值。说实话，都不太对。
阈值设定的好坏，直接决定了你的告警是「救命神器」还是「噪音制造机」。今天咱们就把三种主流方法掰开揉碎了讲清楚——静态阈值、动态阈值、还有基于统计的异常检测。
4.1 静态阈值：简单直接，但有个坑
静态阈值，说白了就是画一条固定的线。CPU 超过 90% 就报警，内存使用率超过 85% 就触发，一清二楚。
它的好处是啥？部署快、理解成本低、运算开销几乎为零。我早期做机房监控的时候，几乎所有指标都用的静态阈值，一行规则搞定一个指标。
| 指标 | 告警条件 | 严重级别 |
|---|---|---|
| CPU 使用率 | > 90% 持续 5 分钟 | P1 严重 |
| 内存使用率 | > 85% 持续 10 分钟 | P2 警告 |
| 磁盘 IO 等待时间 | > 100ms 持续 3 分钟 | P2 警告 |
| TCP 连接数 | > 10000 持续 1 分钟 | P1 严重 |
但是，你想想看，所有的业务都有高峰和低谷吧？ 凌晨三点的 90% CPU 和白天高峰期的 90% CPU，意义完全不一样。我曾经就因为这个踩过坑——白天好好的，凌晨业务低谷期反而被一批假阳性告警把值班同学折腾了一宿。
4.2 动态阈值：让数据自己说话
既然业务有周期性，那咱们就让阈值跟着周期跑。动态阈值的核心思想是：基于历史数据的统计特征，自动推算一个合理的范围。
最常见的做法是：取过去 N 天的同一时段数据，计算均值 ± K 倍标准差。
动态阈值公式（简化版）：
上限 = μ + K * σ
下限 = μ - K * σ
其中 μ 为历史均值，σ 为标准差，K 为敏感度系数（通常取 2~5）K 值怎么选？我个人的习惯是：
- K=2：高度敏感，适合核心交易、支付等场景，漏报容忍度极低
- K=3：中等敏感，适合大部分系统指标，99.7% 的正常数据落在这个区间
- K=4~5：宽松模式，适合抖动大的指标如网络延迟、GC 次数，减少假阳性
我在项目中遇到过这样一件事：某次大促前的压测，我们给数据库的连接数指标配了动态阈值，K 值用了 3.5。结果压测流量上去之后，阈值自动跟着历史基线往上走了，完全不符合预期。为什么？因为历史数据包含了低峰期，而压测是持续高压，阈值被「带偏」了。
嗯，这里要注意：动态阈值依赖于历史数据的「纯净度」。如果历史窗口里本身就混入了异常数据，那基线就是歪的。所以我会定期做一次数据清洗，把明显异常的点剔除后再算基线。
4.3 基于统计的异常检测：更聪明的做法
动态阈值已经比静态强了不少，但还有更精细的方案——统计异常检测。它不只看均值±标准差，而是用更复杂的模型去描述数据的「正常形态」。
我常用的几种方法：
- 3σ 法则：数据超出均值 ± 3σ 即为异常。前提是数据基本符合正态分布。
- MAD（中位数偏差）：对极端值不敏感，适合延迟、响应时间这类偏态分布的数据。
- IQR（四分位距）：QL - 1.5*IQR 到 QU + 1.5*IQR 之外为异常。这是箱线图的思路。
- 移动平均 + 残差分析：用历史窗口的加权平均值预测当前值，预测值和真实值的差超过阈值则报警。
| 方法 | 适用场景 | 抗噪能力 | 计算开销 |
|---|---|---|---|
| 3σ 法则 | 近似正态分布的数据 | 弱 | 极低 |
| MAD | 偏态分布、含离群点 | 强 | 低 |
| IQR | 非对称分布，箱线图常用 | 中等 | 低 |
| 移动平均残差 | 时间序列、周期性数据 | 中等 | 中 |
我个人的经验是：MAD 在监控领域非常好用。比如接口响应时间，它肯定不是正态分布，偶尔的高延迟会把标准差拉得很大，导致 3σ 方法失灵。而 MAD 对极端值不敏感，能够更稳定地捕捉到异常的「集体偏移」。
4.4 三种方案怎么选？一张图说清楚
为了帮你快速决策，我把三种方法的核心逻辑画成了一张对比图。你在实际项目里可以直接拿来参考。
一个小技巧： 在实际项目中，我通常不会只用一种方法。核心业务接口用统计异常检测，中间件水位用动态阈值，硬件指标用静态阈值。混合使用，效果最好。
4.5 实战案例：接口响应时间的阈值设计
拿一个真实场景来说。你有一条用户登录接口，RT（响应时间）的 P99 日常在 200ms 左右，偶尔因为网络抖动跳到 500ms。业务要求：超过 1s 必须告警，持续超过 800ms 也要关注。
我当时的做法是这样的：
- 收集过去 7 天的 P99 数据，按小时分组，消除周末和高峰差异。
- 用 MAD 方法计算阈值：上限 = 中位数 + 3 * MAD。算出来大约在 450ms。
- 叠加一个兜底策略：无论统计结果如何，阈值 1s 必须告警（这是业务强约束）。
- 在 450ms ~ 1s 之间设置为 P3 警告级，超过 1s 直接 P1 严重。
效果呢？上线后第一个月，假阳性率从之前的 40% 降到了 8% 左右。值班同学终于不用半夜爬起来处理「假的 CPU 告警」了。
关键总结：
- 静态阈值适合稳定、可预期的场景，但要小心误报
- 动态阈值自适应，但历史基线需要定期清洗
- 统计异常检测精度高，但计算成本和理解成本也高
- 没有银弹，混合策略才是王道
阈值设定这块，说白了就是找到那个「既能抓住真问题，又不会被假阳性淹没」的平衡点。你先从静态阈值开始，跑一两个月，等数据积累够了再切到动态或统计检测，这样过渡最平滑。