一、异常检测概述：从“找不同”到“找问题”

大家好，我是这门课的主讲。今天咱们聊聊异常检测。

说白了，异常检测就是“找不同”。在一堆正常的数据里，把那些“不对劲”的样本揪出来。我入行那会儿，有个老前辈跟我说：“做数据，先学会找茬。” 后来我发现，这话一点不假。

你想想看，正常的数据往往遵循某种规律。比如你家每天用电量，工作日低、周末高，夏天比冬天多。突然有一天，凌晨三点用电量飙到平时的十倍——这大概率不是你家开party，而是线路漏电了。这就是异常。

所以，异常检测的核心任务就是：自动识别那些显著偏离预期模式的数据点或数据片段。

1.1 异常检测的应用场景

异常检测不是实验室里的玩具，它在工业界遍地开花。我这些年做过的项目，几乎都跟它沾边。给你举三个最典型的场景：

金融风控：抓“坏蛋”

金融领域是异常检测的老本行。银行每天处理上亿笔交易，哪笔是盗刷？哪笔是洗钱？人工查不过来，必须靠模型。

• 信用卡欺诈：你人在北京，突然在纽约刷了一笔大额消费。系统会立刻标记为异常，触发风控拦截。
• 洗钱识别：账户资金快进快出，金额刚好卡在监管阈值以下。这种“结构化”交易模式，就是典型的集体异常。
• 内幕交易：某只股票在重大利好公布前，突然出现大量异常买入。监管机构会盯着这些“先知先觉”的交易行为。

运维监控：救“火”于未燃

运维监控是我最熟悉的战场。服务器、数据库、网络设备，每天产生海量指标。CPU飙到100%了？磁盘快满了？接口响应时间突然变长？这些都是异常。

• 服务器指标监控：CPU使用率、内存占用、磁盘IO、网络流量。单点突增可能是流量高峰，持续高位可能是内存泄漏。
• 应用性能监控（APM）：接口P99延迟、错误率、吞吐量。某接口突然从50ms变成5s，大概率是代码出bug了。
• 日志异常检测：Error日志突然暴增，或者某类Warning日志反复出现。我见过一个案例，某系统每天凌晨3点准时报错，查了三个月才发现是定时任务跟数据库备份撞车了。

工业质检：用“眼睛”看缺陷

工业场景的异常检测，更多是跟图像打交道。生产线上的产品，有没有划痕？有没有气泡？有没有装配错误？

• 表面缺陷检测：手机屏幕的划痕、金属表面的凹坑、布匹的跳线。传统靠人工目检，效率低还容易疲劳。现在用深度学习模型，准确率能到99.5%以上。
• 装配完整性检测：螺丝有没有拧紧？卡扣有没有到位？线束有没有插好？这些都可以通过图像异常检测来自动判断。
• 尺寸超差检测：零件尺寸是否在公差范围内？用3D点云或高精度相机，可以检测出微米级的尺寸异常。

嗯，这里要注意：工业质检的异常样本往往极其稀少。正常品占99.9%，缺陷品只有0.1%。这种极度不平衡的数据，对模型训练是个大挑战。我后面会专门讲怎么处理这类问题。

1.2 常见异常类型

异常不是铁板一块。根据异常的表现形式，学术界和工业界通常把它分成三类。我画了张图，帮你快速理解：

点异常（Point Anomaly）

点异常是最简单、最直观的异常类型。单个数据点跟整体分布差异巨大，一眼就能看出来。

• 定义：某个数据点相对于数据集中其他所有点，表现出显著的不一致性。
• 例子：信用卡单笔消费100万、服务器CPU突然跳到100%、某天温度从25°C骤降到-5°C。
• 检测方法：Z-Score、IQR（四分位距）、孤立森林、One-Class SVM。这些方法我后面会手把手教你实现。

上下文异常（Contextual Anomaly）

上下文异常更有意思。一个数据点本身看起来正常，但放在特定上下文里，它就“不对劲”了。

• 定义：某个数据点在特定上下文（如时间、空间、季节）中异常，但在其他上下文中正常。
• 例子：
  • 时间上下文：凌晨3点，某电商网站流量突然冲到白天高峰水平。流量值本身正常，但时间不对。
  • 空间上下文：在北极圈内测到30°C。温度值本身不算极端，但地理位置不对。
  • 季节上下文：12月份，海南气温降到0°C。0°C在东北是家常便饭，但在海南就是异常。
• 检测方法：时间序列分解（STL）、周期性模型、滑动窗口统计。上下文异常检测的关键是“先定义上下文，再检测偏差”。

集体异常（Collective Anomaly）

集体异常是最隐蔽、也最危险的异常类型。单个数据点看起来人畜无害，但把它们放在一起看，就发现“有组织、有预谋”的异常行为。

• 定义：一组数据点作为一个整体，相对于整个数据集表现出异常行为。但其中每个单独的点，可能都是正常的。
• 例子：
  • 洗钱交易：连续10笔交易，每笔金额都是9999元。单笔交易没问题，但连续10笔刚好卡在监管阈值以下，这就是典型的“结构化交易”。
  • DDoS攻击：某个IP每秒发送100个请求，看起来正常。但1000个IP同时向同一台服务器每秒发送100个请求，服务器就挂了。单个IP正常，集体行为异常。
  • 传感器漂移：温度传感器读数从25°C缓慢漂移到30°C，每5分钟上升0.1°C。单次读数变化在正常范围内，但连续24小时的趋势就是异常。
• 检测方法：序列模式挖掘、子图匹配、聚类分析、马尔可夫模型。集体异常检测往往需要“序列化”或“图化”数据，然后找模式。

为什么会这样？因为很多攻击者或欺诈者知道“单点异常”容易被检测，所以他们把异常行为分散到多个看似正常的点里。你想想看，如果洗钱的人每笔转100万，银行系统秒秒钟就报警了。但如果他把100万拆成100笔，每笔1万，分100个账户转，系统就很难识别。这就是集体异常的狡猾之处。

1.3 三种异常类型的对比

为了让你更直观地理解它们的区别，我整理了一张对比表：

维度	点异常	上下文异常	集体异常
异常粒度	单个数据点	单个数据点 + 上下文	一组数据点
检测难度	低（一眼就能看出）	中（需要上下文信息）	高（需要模式识别）
典型场景	信用卡盗刷、传感器故障	季节性数据、时空数据	洗钱、DDoS攻击、传感器漂移
常用方法	Z-Score、IQR、孤立森林	STL分解、滑动窗口、周期性模型	序列模式、聚类、马尔可夫模型
误报率	较低（阈值调好就行）	中等（上下文定义不准容易误报）	较高（模式复杂，容易过拟合）
对数据要求	低（只需要数值）	中（需要时间/空间标签）	高（需要序列或图结构）