异常检测模型构建与调优 – 第2章：数据探索与可视化

做异常检测，模型只占一半。另一半，甚至更多，是数据探索。我见过不少同学上来就调 Isolation Forest 参数，跑完发现检出率惨不忍睹。回头一查——数据里全是缺失值，分布也不对劲。所以，在动手建模之前，必须先搞清楚数据长什么样。这一章我们就聊聊怎么看数据、怎么画图、怎么通过可视化发现异常的蛛丝马迹。

2.1 异常分布统计

拿到数据第一步，我习惯先看整体统计量。比如均值、中位数、标准差、分位数。这些数字能快速告诉你数据有没有“歪”。

用 Python 跑一下很简单：

import pandas as pd
df = pd.read_csv('data.csv')
print(df.describe())
print(df['value'].value_counts().head(10))

记得有一次生产数据里某列最小值是负数，但业务逻辑里那列必须是正数。统计一看，直接定位到 200 多条异常记录。有时候，一个简单的 describe() 就能发现大问题。

2.2 箱线图 – 异常值的“体检报告”

箱线图把五数概括画出来，异常点一目了然。我习惯用 seaborn 的 boxplot 快速扫一遍所有特征。

import seaborn as sns
import matplotlib.pyplot as plt
sns.boxplot(data=df.drop('label', axis=1))
plt.xticks(rotation=45)
plt.show()

箱线图上，箱子上下须之外的点就是基于 IQR 的候选异常。但这里有个坑——箱线图对多峰分布不敏感。我曾经在一个客户的数据上发现箱线图完全没标出异常，但散点图画出来后，明显有一团孤立点。说白了，箱线图告诉你“谁离群”，但它不负责告诉你“为什么离群”。

2.3 散点图 – 让异常无处可藏

散点图是异常检测的“显微镜”。你想想看，两个特征画出来，正常点聚在一起，异常点孤零零飘在外面。代码写起来也很直接：

plt.scatter(df['feature1'], df['feature2'], c='blue', alpha=0.6)
plt.scatter(anomalies['feature1'], anomalies['feature2'], c='red', s=50)
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.show()

如果特征超过两个，我建议先用 PCA 降到二维再画。虽然会损失一些信息，但总比盯着高维空间瞎猜好。另外，颜色编码可以加维度——把第三个特征映射到点的颜色或大小上，能看出更多模式。

嗯，这里要注意：不要把散点图当成万能工具。如果数据样本量太大（比如超过 10 万点），直接画散点图会全部糊成一团。我会先随机采样 5000 条，或者用 hexbin 图代替。

上面的流程概括了本章的核心思路：从原始数据出发，先用统计描述掌握全局，然后用箱线图标记潜在离群点，再用散点图验证和发现更多异常模式，最后整合成异常列表或标记。这样一步步往下走，后面建模才不会跑偏。