📚 课程目录第4章告警阈值设定

4. 告警阈值设定：静态阈值、动态阈值、基于机器学习的异常检测

阈值怎么设，这事儿我折腾了好几年。刚做运维那会儿，拍脑袋设阈值，结果半夜被电话叫醒——全是误报。后来学乖了，开始认真研究阈值设定。今天我把三种主流方法掰开揉碎讲给你听。

4.1 静态阈值：最基础，也最容易踩坑

静态阈值就是设一个固定值，超过就告警。比如CPU使用率超过90%就报警，内存剩余少于1GB就发通知。简单粗暴，但有效。

核心思路：根据历史经验或SLA要求，设定一个固定上下界。

我在项目中遇到过一件事。有个核心交易系统，我们给CPU设了85%的静态阈值。结果业务高峰期，CPU经常冲到88%然后回落，告警刷屏。后来一查，业务峰值就是85%左右，阈值设得太低了。

静态阈值的优缺点：

优点	缺点
配置简单，上手快	无法适应业务波动
计算资源消耗低	容易产生误报或漏报
可解释性强	需要人工频繁调整
适合稳定、可预测的场景	对突发流量不敏感

我的建议：静态阈值适合基础设施层指标，比如磁盘空间、内存使用率。这些指标变化缓慢，设一个固定值就够了。但业务层指标，比如QPS、响应时间，千万别只用静态阈值。

4.2 动态阈值：让系统自己学会调整

动态阈值说白了，就是让系统根据历史数据自动计算一个合理的上下界。比如过去7天同一时间段的CPU使用率平均值±2倍标准差，作为今天的阈值。

我习惯用滑动窗口法。取过去N个数据点，计算均值和标准差，然后动态更新阈值。举个例子：

# 滑动窗口动态阈值示例
window_size = 100  # 窗口大小
data = []          # 历史数据

def dynamic_threshold(new_value):
    data.append(new_value)
    if len(data) > window_size:
        data.pop(0)
    
    mean = sum(data) / len(data)
    std = (sum((x - mean) ** 2 for x in data) / len(data)) ** 0.5
    
    upper = mean + 3 * std
    lower = mean - 3 * std
    
    return upper, lower

动态阈值的常见算法：

滑动平均法：简单实用，适合周期性指标
指数加权移动平均（EWMA）：对近期数据更敏感
三西格玛法则：假设数据服从正态分布，超出3σ就算异常
分位数法：用P99或P95作为阈值，适合非正态分布

我曾经踩过的坑：动态阈值不是万能的。有一次我用滑动窗口法给数据库连接数设动态阈值，结果业务量持续增长，窗口内的数据不断被拉高，阈值也跟着涨。最后连接数爆了，阈值还没报警。后来我加了趋势修正，才解决这个问题。

4.3 基于机器学习的异常检测

到了ML这块，事情就变得有意思了。机器学习能捕捉到更复杂的异常模式，比如多维指标的联合异常、季节性波动中的微小偏移。

常用方法：

方法	适用场景	优点	缺点
孤立森林	高维数据、非周期性指标	计算快，适合在线检测	对局部异常不敏感
LOF（局部异常因子）	密度不均匀的数据	能发现局部异常	参数敏感
时间序列分解（STL）	强周期性指标	可解释性强	需要较长的历史数据
Autoencoder	多维指标联合检测	能学习复杂模式	训练成本高

我推荐从孤立森林入手。它实现简单，效果也不错。下面是一个快速上手的例子：

from sklearn.ensemble import IsolationForest
import numpy as np

# 假设我们有1000个历史数据点
X_train = np.random.randn(1000, 5)  # 5维指标

# 训练模型
model = IsolationForest(
    contamination=0.01,  # 预期异常比例
    random_state=42
)
model.fit(X_train)

# 在线检测
def detect_anomaly(new_sample):
    pred = model.predict([new_sample])
    return pred[0] == -1  # -1表示异常

关键点：ML方法不是银弹。它需要足够的历史数据、特征工程和模型调优。我见过不少团队一上来就上深度学习，结果数据量不够，效果还不如简单的动态阈值。

4.4 三种方法怎么选？一张图说清楚

你想想看，实际运维中不可能只用一种方法。我一般按这个逻辑来选：

基础设施指标：静态阈值就够了，省心
业务指标有周期性：动态阈值，比如EWMA或分位数法
多维指标、复杂场景：上机器学习，但先从小模型开始

下面这张图展示了三种方法的适用边界和决策流程：

4.5 实战中的组合策略

说实话，我在生产环境从来不会只用一种方法。我习惯搞一个分层策略：

第一层：静态阈值兜底——防止极端情况，比如CPU 100%、磁盘写满
第二层：动态阈值做日常——覆盖大部分业务波动
第三层：ML模型做补充——捕捉那些静态和动态都发现不了的异常

我的经验：先跑一个月静态阈值，积累数据。然后上动态阈值，观察效果。等数据量够了（至少3个月），再引入ML模型。别一上来就搞复杂的，容易翻车。

嗯，阈值设定这块就讲到这里。记住一个原则：没有最好的方法，只有最适合你场景的方法。静态阈值简单可靠，动态阈值灵活自适应，ML方法强大但需要数据支撑。根据你的业务特点，选对组合，告警质量能提升一大截。