📚 课程目录第4章异常检测基础

4. 异常检测基础：异常类型与检测方法分类归纳总结

说到密码操作异常检测，我第一个想聊的，就是“异常到底是什么”。

很多同学上来就调模型、跑数据，结果发现检测出来的东西根本没法用。为什么？因为连异常的类型都没搞清楚。你想想看，一个脏数据的抖动和一个真正的暴力破解，处理方式能一样吗？

所以我个人习惯，在动手之前，先把异常分类画清楚。下面这张图就是我常用的分类骨架。

4.1 三大异常类型

我把常见异常归纳成三类。这个分类不是我发明的，但我在项目里反复验证过，很实用。

异常类型	定义	密码操作举例
点异常 (Point Anomaly)	单个数据点明显偏离全局分布	一次登录耗时突然从 50ms 飙升到 5000ms
上下文异常 (Contextual Anomaly)	在特定上下文下才表现为异常	凌晨3点出现大量密钥生成请求（白天正常）
集合异常 (Collective Anomaly)	一组数据整体偏离正常模式	连续10次签名操作都返回相同的错误码

我记得有一次，线上告警系统频繁报警——点异常检测到个别请求延迟很高。结果查了半天，是因为网络抖动。真正的问题反而是一个集合异常：某个服务连续发了200次证书撤销请求，每次间隔5秒，机器行为。这就是没做上下文分类的坑。

⚠ 避坑指南： 我曾经把所有的异常都当成点异常来处理，结果导致大量的误报。后来才明白，密码操作里上下文异常和集合异常才是真正的“心头大患”。不要偷懒，先分类再检测。

4.2 检测方法分类图谱

检测方法就更多了。我自己习惯按建模方式分成三大流派：统计、机器学习、深度学习。下面这个表格帮你快速对号入座。

方法大类	典型算法	适用场景	数据要求
统计方法	Z-Score、箱线图、Holt-Winters	操作耗时、请求频率的单维监控	少量历史数据即可
机器学习	孤立森林、LOF、One-Class SVM	多维度特征组合异常，如登录设备+时间+地点	需要标注/半标注样本
深度学习	Autoencoder、LSTM-AE、GAN	高维时序密码操作日志，如加密流量序列	大量数据，GPU资源

说白了，统计方法适合快速上手，几行代码就能跑。但你要是面对几十维的特征——比如同时看密钥长度、算法类型、签名耗时、客户端IP、CA证书链——统计方法就力不从心了。这时候我建议上孤立森林或者Autoencoder。

4.3 如何选型：一张决策清单

很多同学会问：“我到底用哪个方法？”我的经验是，先回答下面这几个问题。

你的数据有多少维？ —— 1~3维，统计方法够用；超过5维，上机器学习或深度学习。
异常是突发的还是渐变的？ —— 突发异常适合点异常检测；渐变模式异常需要考虑时间上下文。
你能获取带标签的历史数据吗？ —— 有标签，用监督学习；没标签，用无监督或者半监督。
实时性要求多高？ —— 每秒钟要处理几万个请求？那深度学习推理可能扛不住，优先用统计或轻量ML。

💡 我个人习惯： 在新项目里，我会先用 Z-Score 和箱线图快速扫一遍数据，找到明显的脏数据。然后根据剩下的可疑点分布，再决定是否上孤立森林或者LSTM。这样效率最高，也不至于一开始就陷入调参地狱。

4.4 实战中常见的异常模式（密码操作）

下面我列几个我在安全运维项目里碰到的真实异常模式。你写代码时可以直接对号。

暴力破解尝试 —— 短时间内大量失败的登录操作，集合异常 + 点异常。可以用滑动窗口统计失败次数，阈值告警。
密钥泄露后异常调用 —— 一个平时只在白天使用的服务账号，突然在凌晨批量解密数据。上下文异常，必须结合时间特征。
内部人员越权操作 —— 单次操作看起来正常（点正常），但一小时内连续访问了5个本不该访问的密钥存储区。集合异常，需要用序列模式分析。
加密算法降级攻击 —— 正常操作都用 AES-256，但某段时间突然出现大量 DES/3DES 请求。每个请求单独看没问题，但整体比例异常。这是典型的集合异常。

4.5 一个简单的代码骨架

我放一个最基础的点异常检测代码，用 Z-Score 做示范。别小看它，我遇到过很多团队连这个都没跑就直接上深度学习，结果效果还不如这个。

# 伪代码：Z-Score 点异常检测
import numpy as np

def z_score_detection(timings, threshold=3.0):
    """
    timings: list of float, 例如每次签名操作的耗时(ms)
    threshold: Z-Score 阈值, 默认 3
    """
    mean = np.mean(timings)
    std = np.std(timings)
    anomalies = []
    for i, t in enumerate(timings):
        z = (t - mean) / std if std != 0 else 0
        if abs(z) > threshold:
            anomalies.append((i, t, z))
    return anomalies

# 使用示例
response_times = [12.3, 11.8, 13.1, 12.5, 55.2, 12.0, 11.9]
anomaly_list = z_score_detection(response_times)
print(f"异常点: {anomaly_list}")  # 预期会标记索引4的55.2ms

🔑 关键点： 阈值3.0是经验值，但实际项目中要根据数据分布调整。我一般先用箱线图看看数据的四分位距，再决定阈值。如果数据本身就偏态分布，Z-Score会失效，这时候改用 IQR 法或者 MAD（中位数偏差）。

4.6 小结一下

异常检测不是一上来就调模型，而是先搞清楚你面对的是什么类型的异常。点异常、上下文异常、集合异常，三种类型对应三种不同处理思想。检测方法上，从简单统计到深度学习，各有各的适用边界。

我个人觉得，能用一个简单方法解决的问题，就不要用复杂的。但一旦数据复杂度上去了，也别犹豫，大胆上深度学习——只不过要做好数据清洗和特征工程。嗯，这一章就到这，你可以拿上面的表格和决策清单去对照自己的场景试试。