异常检测基本概念
咱们这门课讲的是密钥异常检测。但别急着往密钥上靠，先把地基打牢。
异常检测，说白了就是在一堆“正常”的数据里，把那个“不正常”的揪出来。我刚开始做这个的时候，以为很简单。结果第一次上线就出问题了——正常和异常的边界，比你想象中模糊得多。
三类异常：点、上下文、集体
做异常检测，你得先知道你要抓的是什么“妖”。学术界把它们分成了三类。我自己在实践中，也确实发现它们对应着完全不同的场景。
1. 点异常
这是最直观的一种。单个数据点自己就明显不对劲。跟别人一比，它太另类了。
- 定义：单个实例与全局大多数样本都不一样。
- 我的案例：我记得有一次看银行交易数据。99%的人单笔消费在1000块以内。突然冒出一笔100万的。这就是典型的点异常。不用看上下文，它自己就是个“异类”。
- 举个例子：一群身高170cm的人里，混进来一个身高2.3米的。或者体温数据里，突然出现一个42℃的读数。
2. 上下文异常
这个就有点意思了。数值本身可能不奇怪，但放错了时间或空间，它就成了异常。
- 定义：在特定上下文（通常是时间序列或空间位置）下异常，但在全局看可能正常。
- 为什么难？你得先定义好“上下文”。比如温度30℃，在夏天正常，在冬天就是异常。又比如，API在凌晨3点突然调用1000次，这是异常；但在下午3点，同样1000次可能是正常访问。
- 避坑指南：我曾经犯过一个错。监控服务器CPU，把阈值设成一个固定值。结果白天报一堆假警报，晚上又漏报。后来改成用滑动窗口的上下文检测，才消停下来。
3. 集体异常
单个看都没问题，但凑在一起就构成了一幅“犯罪画面”。这最难抓。
- 定义：一组数据点集合起来呈现异常模式，但每个点单独看都是正常的。
- 说人话：就像一把钥匙。单个齿纹很正常。但几个齿纹组合起来，正好能打开你家门，这就异常了。
- 实际场景：在网络安全日志里，三个不同的用户，分别查看“服务器登录”、“备份策略”、“删除日志”这三条指令。每个操作都正常。但如果是同一个IP，在30分钟内连续执行这三步，基本可以断定是在搞破坏。
核心区别速记：
- 点异常：单点跟全局比，不行。
- 上下文异常：单点跟邻居比，不行。
- 集体异常：一群点的模式跟预期比，不行。
异常类型对比表
| 特征 | 点异常 | 上下文异常 | 集体异常 |
|---|---|---|---|
| 判断依据 | 全局分布 | 局部上下文 | 组合模式 |
| 检测难度 | 低 | 中 | 高 |
| 经典场景 | 信用卡盗刷、传感器故障 | 时序数据、周期性任务 | 网络攻击、群体作弊 |
| 是否需要建模上下文 | 不需要 | 需要（时间/空间） | 需要（关联规则/序列） |
检测目标与终极难点
讲完了异常的分类，咱们聊聊实际检测时到底在想什么。
检测的四个核心目标
你设计系统的时候，得反复问自己这四个问题。我每次做项目评审，都会拿这四点来卡自己。
- 准确性（Precision & Recall）：别漏抓（Recall高），也别抓错（Precision高）。两者很难兼得。
- 实时性：密钥出了事，等你报警黄花菜都凉了。很多场景要求毫秒级响应。
- 可解释性：光报警“有异常”没用。你得告诉运维人员“哪条密钥、哪个操作、为什么异常”。不然没人信你。
- 鲁棒性：数据有噪音怎么办？标签不够怎么办？模型得扛得住脏数据。
躲不开的难点
我做了这么多年，感觉最难的不是算法，而是下面这三点。
经验之谈：别一上来就想用深度学习。很多场景下，一个简单的阈值规则 + 特征工程，效果反而更好。我在一个项目里，用孤立森林（Isolation Forest）就搞定了，何必上LSTM呢？
- 类别不平衡：这是异常检测的老大难。你面对的数据里，异常可能只占0.01%。算法很容易“躺平”——全判成正常，准确率都有99.99%。但这完全没意义。
- 概念漂移：“正常”的标准是会变的。昨天这个API调用频率是正常的，今天可能就成了攻击。模型需要持续学习，不能一成不变。
- 标签稀缺：标注异常数据太贵了。大多数场景下，你手里只有一堆“正常”数据，或者根本没有标签。这就决定了我们得用无监督或半监督的方法。这在后续章节会重点讲。
避坑指南：我曾经在评估模型时，只看了准确率。结果模型把所有异常都当成了噪声过滤掉。上线第一天，安全同事就跑来骂我。记住了：在异常检测里，召回率比精确率更值得关注。抓错总比漏掉好。
本章知识结构图
把上面的关系理一理，就是下面这张图。你看完应该能快速把握本章的核心脉络。
嗯，这张图把关系理得很清了。从三种异常类型出发，引出检测目标，最后落到现实难点。你看，最后的落点都是无监督和特征工程。这也是咱们这门课后续要重点攻克的方向。