第1章 异常检测概述

先问个问题：你有没有遇到过这种情况——盯着监控面板看了半天，总觉得某个指标不太对劲，但又说不上来哪里出了问题？

这就是异常检测要干的事儿。说白了，就是从一堆数据里找出那些「格格不入」的家伙。我做数据这行快十年了，处理过传感器数据、交易流水、服务器指标……几乎每个项目都逃不掉这一步。

1.1 什么是异常检测

异常检测（Anomaly Detection），也叫离群点检测，目标就是识别那些与大多数数据行为显著不同的样本。这些样本不是随机噪声，而是暗示着某种「不对劲」。

我习惯把异常分为三类：

类型	定义	项目实例
点异常	单个数据点偏离整体分布	某台服务器的CPU突然跳到100%
上下文异常	在特定语境下异常，但整体正常	凌晨3点突然有大量登录请求
集合异常	一组数据联合出现异常模式	连续5笔交易都在同一台ATM操作

嗯，这里要注意：点异常最容易检测，但实际业务里上下文异常和集合异常才更常见，也更容易被忽略。

1.2 应用场景：你在哪儿见过它？

异常检测不是实验室里的玩具。你在日常工作中大概率已经接触过它：

• 金融风控 —— 信用卡盗刷检测、反洗钱。我曾经帮一家银行做过交易监控系统，有个案例是一张卡在15分钟内刷了20笔，每笔金额都卡在阈值下面一点点……明显是人肉试探。
• IT运维 —— 服务器指标监控、日志异常发现。我记得有次半夜被报警吵醒，说某台机器的内存使用率异常，结果发现是同事误部署了一个测试服务。
• 工业质检 —— 生产线上产品外观缺陷检测、传感器信号异常预警。
• 安全检测 —— 网络入侵检测、账号异常登录识别。
• 医疗健康 —— 心电图异常搏动、患者生命体征异常预警。

1.3 核心挑战：为什么这活儿没那么简单？

你可能会想：不就是找几个离群点吗，画个箱线图不就行了？

现实比这要麻烦得多。我踩过的坑可以列一串：

1. 异常样本太少 —— 异常可能就是千分之一甚至百万分之一的比例。你很难拿到足够多的标注数据去训练模型。
2. 边界模糊 —— 正常和异常之间没有明确的界限。你想想看，一个用户访问频率从每天10次变成20次，这算异常吗？要看业务背景。
3. 概念漂移 —— 数据的「正常」定义是随时间变化的。双十一期间的流量模式和平时完全不同，你不能用同一条规则去套。
4. 高维诅咒 —— 当特征维度高了以后，所有点在高维空间里都会显得「稀疏」且「遥远」，传统的距离度量方法容易失效。
5. 可解释性要求 —— 尤其在金融、医疗领域，你得告诉业务人员「为什么这笔交易是异常的」，光给个分数没用。

1.4 异常检测方法分类

目前业界的方法大致可以分成三大流派。我个人建议你可以把它们想象成三种不同风格的侦探：

流派	核心思路	代表方法	适合场景
统计方法	假设正常数据服从某种分布，偏离分布的即为异常	Z-Score、Grubbs检验、箱线图	单维或低维数据，分布假设成立时
机器学习方法	用模型学习正常模式，识别偏离模式的样本	Isolation Forest、LOF、One-Class SVM	高维数据、复杂模式
深度学习方法	利用神经网络提取特征，重构误差或预测误差做判决	Autoencoder、LSTM-AD、GANomaly	时序数据、图像、大规模数据

我们这个课程会聚焦在第一类——基于统计的异常检测方法。为什么单独把它拿出来讲？两个原因：

• 它是最基础、最可解释的方法，很多工业场景下统计方法已经足够解决问题。
• 它是其他方法的基石。你理解了统计方法的假设和局限，才能用好机器学习模型。

1.5 统计方法的核心思想

统计方法做异常检测，逻辑其实很朴素：

「正常的数据服从某个已知分布，异常数据会落在分布的低概率区域。」

具体流程通常是：

1. 假设或估计数据的分布形式（正态分布、泊松分布等）
2. 计算每个数据点在该分布下的概率或偏离程度
3. 设定阈值，低于阈值的点标记为异常

举个最简单的例子。假设某业务接口的响应时间在正常情况下服从均值为200ms、标准差为50ms的正态分布。今天突然出现一个请求耗时480ms：

import numpy as np
from scipy import stats

mean = 200
std = 50
x = 480

# 计算Z-Score
z_score = (x - mean) / std
print(f"Z-Score: {z_score:.2f}")
# 输出: Z-Score: 5.60

# Z-Score > 3 通常被视为异常
# 对应p值 < 0.001
p_value = 2 * (1 - stats.norm.cdf(abs(z_score)))
print(f"p-value: {p_value:.6e}")
# 输出: p-value: 2.04e-08

你看，Z-Score 达到了5.6，对应的p值几乎为0。按照「3σ原则」，这明显是个异常点。这就是统计方法最直白的应用。

这张图可以帮你快速理解本章的知识体系：

从这张图你可以看到，异常检测不是单一的技术，而是一整套从问题定义、挑战分析到方法选型的体系。而我们这门课，会沿着「统计方法」这条主线深入下去。

1.6 统计方法的优势和局限

说了这么多，我得客观地讲讲统计方法的「好」和「不好」。

优势很实在：

• 计算开销小，几行代码就能跑起来
• 结果可解释，你能说清楚为什么这个点被标为异常
• 在小样本场景下比很多机器学习模型更稳健

局限也很明显：

• 对数据分布有较强的假设，现实数据往往不完美服从任何分布
• 高维数据下效果急剧下降
• 难以捕捉复杂的非线性异常模式