4、异常检测基础：从阈值到孤立森林

异常检测，说白了就是在一堆正常数据里，把那些「不对劲」的点揪出来。

我在硬件可靠性项目里，最常遇到的情况是：一块板子跑了三个月，突然某个传感器读数跳变。是真实故障？还是噪声？这时候，异常检测就是第一道防线。

今天咱们聊三种主流方法：阈值检测、统计检测、机器学习检测。它们各有各的脾气，也各有各的坑。

4.1 基于阈值的检测：最简单，也最容易翻车

阈值检测，就是画两条线——上限和下限。数据超出范围，就报异常。

比如监控CPU温度，我设个上限85°C。超过就告警。听起来很直接对吧？

但这里有个问题：阈值怎么定？

• 拍脑袋法：凭经验设一个值。比如电压波动不能超过±5%。
• 统计法：用历史数据的均值±3倍标准差。
• 业务法：根据产品规格书来。比如DDR4的VDDQ必须是1.2V±0.06V。

阈值检测的优缺点很明显：

优点	缺点
实现简单，计算量小	对趋势性变化不敏感
可解释性强	阈值难调，容易误报/漏报
适合实时监控	无法处理多维度关联异常

4.2 基于统计的检测：3σ原则与箱线图

统计方法比固定阈值聪明一点。它假设正常数据服从某种分布，然后看新数据点落在分布里的概率。

4.2.1 3σ原则

这个大家应该不陌生。如果数据服从正态分布，那么：

• 68.27% 的数据落在 μ±σ 内
• 95.45% 的数据落在 μ±2σ 内
• 99.73% 的数据落在 μ±3σ 内

所以，超出 μ±3σ 的点，大概率是异常。

代码实现很简单：

import numpy as np

def detect_3sigma(data, new_point):
    mean = np.mean(data)
    std = np.std(data)
    lower = mean - 3 * std
    upper = mean + 3 * std
    return new_point < lower or new_point > upper

4.2.2 箱线图（Boxplot）

箱线图不假设数据分布。它用四分位数来定义异常边界。

• Q1：下四分位数（25%分位）
• Q3：上四分位数（75%分位）
• IQR：四分位距 = Q3 - Q1
• 异常边界：Q1 - 1.5×IQR 和 Q3 + 1.5×IQR

超出这个范围的点，就是箱线图定义的异常。

我在项目中更喜欢箱线图，因为它对极端值不敏感。3σ会被极端值拉偏均值和标准差，但箱线图只依赖中位数和四分位数，稳健得多。

def detect_boxplot(data, new_point):
    q1 = np.percentile(data, 25)
    q3 = np.percentile(data, 75)
    iqr = q3 - q1
    lower = q1 - 1.5 * iqr
    upper = q3 + 1.5 * iqr
    return new_point < lower or new_point > upper

4.3 基于机器学习的检测：孤立森林

阈值和统计方法，处理一维数据还行。但现实中的异常往往是多维的——比如电压、电流、温度同时出现微妙变化，单独看每个维度都正常，组合起来就是异常。

这时候，就该机器学习上场了。

4.3.1 孤立森林的核心思想

孤立森林（Isolation Forest）的思路很特别：异常点更容易被「孤立」。

你想想看，正常点通常聚集在一起，需要切很多刀才能分开。异常点呢？它孤零零的，一两刀就切出来了。

算法流程：

1. 随机选一个特征，随机选一个切分值
2. 把数据分成左右两份
3. 递归重复，直到每个点都被孤立
4. 记录每个点被孤立所需的「切割次数」
5. 切割次数少的，就是异常

4.3.2 代码实战

用scikit-learn实现，几行代码搞定：

from sklearn.ensemble import IsolationForest
import numpy as np

# 假设X是历史正常数据，shape=(n_samples, n_features)
X = np.random.randn(1000, 3)

# 训练模型
model = IsolationForest(
    contamination=0.05,  # 预期异常比例
    random_state=42
)
model.fit(X)

# 预测新数据点
new_point = np.array([[0.5, -1.2, 3.8]])
pred = model.predict(new_point)
# -1 表示异常，1 表示正常
if pred[0] == -1:
    print("异常！")

4.3.3 参数调优要点

参数	作用	我的建议
n_estimators	树的数量	默认100够用，数据量大可以加到200
max_samples	每棵树用的样本数	256或512，太大反而降低效果
contamination	预期异常比例	先设0.05，根据实际误报率调整
max_features	每棵树用的特征数	默认1.0（全部特征），高维数据可以设0.5

4.4 三种方法对比

我把它们放在一起对比一下，方便你选型：

维度	阈值检测	统计检测	孤立森林
数据分布假设	无	正态/非参数	无
维度支持	单维	单维为主	多维
计算开销	极低	低	中等
可解释性	高	中	低
适用场景	实时监控、简单告警	离线分析、数据清洗	多维异常、复杂系统

4.5 知识体系总览

下面这张图，把本章的核心逻辑串起来了：

4.6 我的实战建议

说了这么多，最后给你几条实在的建议：

• 别一上来就上机器学习。先用阈值和统计方法跑一遍，看看数据长什么样。很多时候，简单方法就够了。
• 异常检测不是一次性的。系统在变，数据分布也在变。模型要定期重新训练，阈值要动态调整。
• 误报和漏报要权衡。在硬件可靠性里，我宁愿多几个误报，也不想漏掉一个真实故障。误报可以人工复核，漏报就是事故。
• 记录每一次异常。把异常点、检测方法、最终结论都记下来。这些数据是后续优化模型的金矿。