2. 异常检测基础
在进入 Isolation Forest 的具体算法之前，我们需要先把“异常检测”这件事本身讲清楚。很多初学者一上来就调 IsolationForest，却说不清“异常”到底指什么、它和普通的二分类有什么本质差别，结果在特征工程、评估指标和阈值选择上频频踩坑。本节将围绕四个问题展开：什么是异常、异常有哪几种类型、异常检测用在哪些场景、以及它与监督分类的根本区别。
一、什么是异常：从“少数且不同”说起
异常（Anomaly），又称离群点（Outlier），通常指在数据集中显著偏离大多数样本的分布模式的个体。它有两个关键特征：一是数量稀少，二是行为或结构与主体数据不一致。注意，这两个条件往往需要同时成立——一个值很大但大量出现的样本，是“常见的高值”，而不是异常。
在交易场景中，异常可以理解为“与用户历史行为、群体行为或业务规则明显不符的交易”。例如某张卡平时单笔消费 50～300 元，突然在凌晨 3 点于境外发生一笔 2 万元的交易，这就是一个典型的异常信号。但异常不等于欺诈：异常是统计或模式层面的偏离，欺诈是业务与法律层面的定性。异常检测负责把可疑对象筛出来，最终定性往往还需要规则引擎或人工审核。
二、异常的三种常见类型
按异常产生的结构，通常分为以下三类，它们对检测方法的选择有直接影响：
- 点异常（Point Anomaly）：单个样本自身即偏离整体分布。例如一笔金额远超历史均值的交易。这是最常见、也是 Isolation Forest 最擅长处理的类型。
- 上下文异常（Contextual Anomaly）：样本在特定上下文中才异常。例如“深夜交易”本身不异常，但若该用户从不在深夜交易，则深夜这笔就是上下文异常。上下文通常由时间、地点、设备等维度定义。
- 集体异常（Collective Anomaly）：单个样本看似正常，但一组样本整体构成异常模式。例如短时间内从同一设备发起大量小额交易，单笔都正常，组合起来却是典型的“试探性盗刷”。
Isolation Forest 本质上针对点异常设计，对上下文异常需要把上下文编码进特征（如“距上次交易小时数”），对集体异常则常需配合滑窗聚合特征。这一点在后续特征工程章节会反复用到。
三、常见应用场景
异常检测的应用非常广泛，交易反欺诈只是其中之一。下表列出典型场景及其异常形态，帮助你建立“场景—方法”的对应直觉：
| 应用场景 | 典型异常形态 | 常用方法倾向 |
|---|---|---|
| 信用卡/支付反欺诈 | 点异常、集体异常 | Isolation Forest、规则+模型 |
| 服务器入侵与运维监控 | 点异常、上下文异常 | 统计阈值、时序模型 |
| 工业设备故障预警 | 上下文异常 | 时序异常检测、自编码器 |
| 电商刷单与薅羊毛 | 集体异常 | 图方法、聚合特征+树模型 |
| 数据质量校验 | 点异常 | Isolation Forest、分位数规则 |
可以看到，交易反欺诈往往同时包含点异常和集体异常，这也是为什么实战中很少只用一个模型，而是“无监督异常检测 + 有监督分类 + 规则”组合使用。
四、异常检测与监督分类的根本区别
这是本节最容易被忽视、却最关键的部分。很多同学把异常检测当成“标签不平衡的二分类”，这是典型误区。二者的差别不只是标签比例，而是问题设定本身不同：
- 标签可得性：监督分类假设训练集有明确正负标签；异常检测通常没有标签，或只有极少量已确认样本，且未来异常类型可能与历史不同。
- 目标不同：分类追求“把已知类别分对”；异常检测追求“发现未知的偏离”，包括训练时从未见过的模式。
- 评估方式不同：分类看准确率、F1；异常检测更关注在极低误报率下的召回，常用 ROC-AUC、PR-AUC 和 Top-K 命中率。
- 对分布变化的敏感度：分类模型面对新欺诈手法容易失效；异常检测因为建模的是“正常”，对新型异常反而更稳健。
下面用一段伪代码对比两种任务的训练输入差异，帮助你形成直观印象：
# 监督分类：需要正负标签
X_train, y_train = load_labeled_data() # y ∈ {0, 1}
model.fit(X_train, y_train) # 学习“欺诈长什么样”
# 异常检测：通常只用正常样本或全部无标签样本
X_train = load_unlabeled_data() # 无 y
model.fit(X_train) # 学习“正常长什么样”
scores = model.decision_function(X_test) # 偏离正常程度
理解了这一点，你就能明白为什么 Isolation Forest 的核心思想是“异常容易被孤立”，而不是“异常有什么共同特征”。它不依赖标签，而是利用异常样本在随机切分下更容易被少数几次划分隔离出来的性质。这也决定了它在交易反欺诈中的定位：作为无监督召回层，快速缩小可疑范围，再交给有监督模型或人工做精细判定。