1. 异常检测概述：定义、应用场景、常见挑战与评价维度
异常检测，说白了就是在一堆看似正常的数据里，找出那个「不对劲」的样本。
我刚开始接触这个领域时，觉得这东西不就是个二分类问题吗？正常vs异常，多简单。直到有一次在金融风控项目里，正常样本占了99.8%，异常样本只有0.2%——训练出来的模型直接摆烂，把所有样本都判为正常。嗯，从那次之后我才真正明白，异常检测远比你想象的要复杂。
1.1 什么是异常检测？
用学术一点的说法，异常检测就是识别与大多数数据模式显著不同的样本或模式的过程。但什么叫「显著不同」？这完全取决于你的业务场景。
异常通常可以分成三种类型。我在项目中遇到过的最头疼的案例，往往不是那些一眼就能看出来的离群点，而是藏在上下文里的「隐形异常」。
| 异常类型 | 定义 | 举个栗子 |
|---|---|---|
| 点异常 | 单个数据点与其他点差异极大 | 信用卡突然冒出一笔100万的境外消费 |
| 上下文异常 | 在特定上下文中异常，单独看完全正常 | 冬天出现35°C高温——放夏天正常，冬天就是异常 |
| 集体异常 | 一组数据整体异常，但单个点看起来没问题 | 一个账户短时间内频繁小额转账，单笔都正常，整体模式可疑 |
我在银行风控项目中遇到过典型的集体异常案例。那个场景下，单笔交易怎么看都正常，但把一段时间内的交易模式串起来看，明显有问题。如果只看单笔数据，传统规则根本发现不了。
核心要点：异常检测不是简单的二分类。异常的类型决定了你该用什么方法。点异常用离群点检测就够了，集体异常则需要考虑序列或图结构。
1.2 应用场景
异常检测的应用范围比你想象的要广得多。我这些年接触过的项目，几乎每个行业都有自己的「异常」需要揪出来。
- 金融风控——欺诈交易、洗钱行为、信用卡盗刷。这个领域对实时性要求极高，晚几秒可能钱就转走了。
- 工业质检——生产线上检测缺陷产品。我在一个半导体项目里遇到过，晶圆表面的微小划痕用肉眼根本看不出来，但模型能识别。
- 网络安全——入侵检测、异常流量、恶意软件。网络数据量大、维度高，而且攻击者会刻意伪装，难度不小。
- 医疗诊断——病变区域识别、异常生理信号监测。医疗数据标注成本极高，我见过一个团队花了大半年才标了2000例。
个人建议：选场景的时候，先想清楚「异常」在你的业务里到底长什么样。我在工业项目里吃过亏——产线上的「异常」是随时间漂移的，今天定义的缺陷标准，下周可能就不适用了。
1.3 常见挑战
做异常检测，坑是真的多。我来盘点一下最常见的几个，每一个我都踩过。
- 数据不平衡——异常样本太少，模型根本学不到「异常长什么样」。我之前在一个欺诈检测项目里，正负样本比接近500:1，模型训练完直接全判成正常。后来用了采样的思路才勉强跑起来。
- 概念漂移——数据的分布会随时间变化。今天定义的「正常」，明天可能就不是了。我维护过一套服务器监控系统，每隔几周就要重新校准阈值，否则误报多得没法看。
- 标注困难——异常数据本来就少，标注成本还极高。你想想看，让一个资深医生花时间标医疗影像，一小时成本是多少？嗯，现实就是这么残酷。
- 维度灾难——特征维度越高，样本越稀疏，检测难度指数级上升。我见过一个项目从50维扩到200维，模型效果反而掉了30%。
避坑指南：我曾经在一个项目里忽略了概念漂移，模型上线时效果很好，两个月后召回率从85%跌到了40%。从那以后，我养成了一个习惯：凡是做异常检测，必须先设计好模型监控和定期重训的机制。
1.4 评价维度
模型做出来了，怎么衡量它好不好？这是个大问题。我建议从三个角度去看，少一个都容易翻车。
- 统计指标——Precision、Recall、F1、ROC-AUC。这些是基本功，能帮你量化模型的检测能力。但注意，单一指标很容易骗人。
- 业务成本——漏报一个异常损失多少钱？误报一个正常又损失多少？有时候业务成本比统计指标更重要。我在一个风控项目里，业务方明确说「宁漏勿误」，那模型的阈值就得往高了调。
- 稳定性与可解释性——模型能不能稳定运行？检测结果能不能讲清楚？我吃过这方面的亏：模型效果很好，但解释不了，业务方根本不买账。
下面是一个计算基础评价指标的小例子，你可以直接跑跑看：
from sklearn.metrics import precision_score, recall_score, f1_score
y_true = [0, 0, 0, 1, 0, 0, 1, 0, 0, 0]
y_pred = [0, 0, 1, 1, 0, 0, 0, 0, 0, 0]
print(f"Precision: {precision_score(y_true, y_pred):.2f}")
print(f"Recall: {recall_score(y_true, y_pred):