异常类型与数据特性：点异常、上下文异常、集合异常、数据不平衡问题、标签缺失问题

做异常检测这些年，我最大的感受是：选对算法之前，先得看懂你的异常长什么样。很多同学一上来就调模型，结果效果不好，回头一看——异常类型搞错了，数据特性没摸清。今天咱们就把这块地基打牢。

一、异常类型的三种基本形态

异常不是铁板一块。我个人习惯把它分成三类：点异常、上下文异常、集合异常。这三类对应着完全不同的检测思路。

1. 点异常（Point Anomaly）

这是最直观的异常。单个数据点跟全局大部分样本都不一样，它就是异常。说白了，就是「鹤立鸡群」。

• 典型场景：信用卡盗刷检测。一笔 10 万的消费，用户平时都是几百块的流水，这笔就是点异常。
• 检测思路：距离、密度、隔离森林这类方法都很好使。
• 我踩过的坑：有一次做电商反爬，我把单个 IP 的请求量当点异常检测。结果发现大促期间正常用户也会暴增。嗯，这里要注意——点异常的前提是「全局对比」，如果数据本身有周期性波动，点异常就不够用了。

2. 上下文异常（Contextual Anomaly）

这种异常单看数值可能完全正常，但放在特定的上下文里就不对劲。你想想看——

比如体温 37.5℃，放在夏天中午算正常，但放在凌晨 3 点就值得警惕。再比如服务器 CPU 使用率 80%，白天高峰期正常，半夜低谷期就是异常。

上下文异常有两个关键要素：

• 上下文窗口：时间、空间、序列位置等
• 行为模式：偏离了该上下文下的预期行为

我记得在做一个 IoT 传感器故障检测项目时，温度传感器读数 25℃ 在夏天完全正常，但同一批传感器其他都报 35℃，只有它报 25℃——这就是空间上下文异常。后来我们用了滑动窗口 + 局部回归的方法，才把这批「伪装正常」的异常揪出来。

3. 集合异常（Collective Anomaly）

单个点看都正常，但一群点凑在一起就不正常。这有点像「狼群效应」——单独一只狼不可怕，一群狼就危险了。

举个例子：用户操作日志里，单个「登录-浏览-退出」是正常行为。但如果连续 100 个用户在 3 秒内都做了完全相同的操作序列，那就是爬虫攻击。每个用户的行为单独看没问题，但集合起来就是异常。

集合异常检测的难点在于：

• 需要定义「集合」的边界（时间窗口？数量阈值？）
• 需要衡量集合内部的「一致性」或「协同性」
• 计算复杂度通常比前两种高

二、数据特性：两个绕不开的难题

异常检测落地时，数据层面有两个老大难问题：数据不平衡和标签缺失。我敢说，80% 的异常检测项目失败，都跟这两个问题有关。

1. 数据不平衡问题

异常检测天然就是不平衡的。正常样本占 99% 以上，异常样本可能只有 0.1% 甚至更少。你想想看，如果模型说「全部正常」，准确率也有 99.9%，但这模型有什么用？

不平衡带来的具体问题：

问题	表现	后果
模型偏向多数类	把所有样本都判为正常	漏报率极高
评估指标失真	准确率虚高	误以为模型很好
训练不稳定	少数类梯度被淹没	模型不收敛

我常用的应对策略：

• 重采样：对少数类过采样（SMOTE 或其变体），对多数类欠采样。但要注意——过采样容易过拟合，欠采样可能丢失信息。
• 代价敏感学习：给异常样本更高的权重。比如在损失函数里把异常类的权重设为正常类的 100 倍。
• 异常检测专用算法：隔离森林、LOF、One-Class SVM 这些算法本身就不依赖类别平衡。
• 评估指标换掉：别用准确率，用精确率、召回率、F1-score、AUC-ROC、AUC-PR。我个人最推荐 AUC-PR，它对不平衡数据更敏感。

2. 标签缺失问题

异常检测里，有标签是奢侈品，没标签是常态。为什么？因为异常事件本来就少，人工标注成本又高，而且很多异常是「未知的未知」——你根本不知道它长什么样。

标签缺失分三种情况：

• 完全无标签：只能用无监督方法（隔离森林、LOF、自编码器）
• 只有正常标签：可以用 One-Class SVM、深度支持向量数据描述（Deep SVDD）
• 少量异常标签：半监督学习、主动学习、伪标签技术

我记得有个金融风控项目，客户只给了 50 条标注过的欺诈样本，剩下 100 万条全是未标注的。我们用了半监督方法：先用无监督算法筛选出高置信度的正常样本和疑似异常样本，再用这 50 条标注数据做种子，迭代训练。最后效果比纯监督学习好了 30%。

三、知识体系总览

下面这张图把本章的核心内容串起来了。我建议你保存下来，做项目时对照着看。

四、实战中的常见误区

做异常检测这些年，我见过太多人踩同样的坑。这里列几个最常见的：

1. 混淆异常类型：把上下文异常当点异常处理，结果漏报一堆。记住：先画数据分布图，看看异常是不是跟时间/位置有关。
2. 忽视数据不平衡：模型训练完一看准确率 99%，高兴得不行。上线后才发现异常一个都没抓到。评估指标一定要用 AUC-PR 或召回率。
3. 标签缺失时硬上监督学习：没有标签就强行标注，结果标注质量差，模型学到的全是噪声。不如先用无监督方法做初筛。
4. 过度依赖单一算法：没有万能算法。隔离森林对高维数据好，但对局部异常不敏感；LOF 对局部异常好，但计算复杂度高。我习惯用集成策略——多个算法投票。