异常值基础：什么是异常值、异常值类型、异常值影响

先聊点实在的。我刚入行做数据分析那会儿，拿到一份传感器数据，直接扔进模型训练。结果模型表现忽上忽下，调参调到怀疑人生。后来才发现——数据里藏着几个离谱的数值，把整个分布都带偏了。嗯，那些就是异常值。

说白了，异常值就是数据里那些「不走寻常路」的点。它们要么远高于正常范围，要么远低于正常范围，跟大伙儿格格不入。但别急着把它们全删掉——有时候异常值才是最有价值的信息，比如信用卡欺诈、设备故障预兆。

异常值的三种面孔

我习惯把异常值分成三类，这样定位问题会快很多。你想想看，实际项目里遇到的「怪数据」基本都跑不出这个框架：

类型	定义	常见场景	处理倾向
全局异常	相对于整个数据集的「极端值」	用户年龄出现200岁；日销售额突然变成-5000	通常先验证是否为录入错误
情境异常	在特定上下文下反常，单看数值正常	夏天卖羽绒服销量暴增（正常值但时间不对）	需结合时间、空间等维度分析
集体异常	一组数据点各自正常，但整体模式异常	连续10笔微小交易，单笔正常，但序列模式像洗钱	用序列/聚类方法检测

异常值到底怎么影响你的模型？

很多新手觉得「不就几个点嘛，去掉不就完了」。但异常值的影响力，跟你想象的不一样。我拆成三个层面来讲：

1. 毁掉统计量

均值这东西特别脆弱。举个例子：

正常数据：[10, 12, 11, 13, 9, 11, 10, 12, 14, 11]
均值 = 11.3
中位数 = 11.0
标准差 ≈ 1.49

加入一个异常值试试：

加一个1000：[10, 12, 11, 13, 9, 11, 10, 12, 14, 11, 1000]
均值 = 100.3（炸了）
中位数 = 11.0（没变）
标准差 ≈ 297.5（方差爆炸）

看到了吧？均值直接飞到100，中位数纹丝不动，标准差变成了原来的200倍。你用这样的均值去做归一化或假设检验，结果全废。

2. 拉偏回归线

做线性回归时，异常值会把回归线「勾」向自己。尤其当异常值位于自变量远端（高杠杆点），影响力更大。我遇到过一位同事死活调不好房价预测模型，R²只有0.3。帮他画了个散点图，发现一条豪宅记录（价格5000万，面积2000平）待在右下角，把回归线硬生生拉平了。去掉后R²升到0.68。

3. 扭曲聚类与距离度量

基于距离的算法（kNN、K-Means、DBSCAN）对异常值极度敏感。一个异常点就能把聚类中心拖偏，导致簇分裂错乱。我记得有个用户分群项目，K-Means分出的簇里总有一小撮用户特征不明显，后来发现是几条日志采集异常的数据混在里面。

异常值检测的常见误区

我罗列几个自己踩过的坑，你以后肯定也会碰到：

• 只用Z-score做全球通缉——Z-score假设数据正态分布，实际数据往往偏态。我曾用Z-score检测收入数据，把高收入群体全标成了异常，那叫一个尴尬。
• 忽视分组效应——不同分组的正常范围可能不同。比如「早上8点CPU使用率80%」正常，「凌晨3点CPU使用率80%」可能就是异常。
• 一次检测后万事大吉——数据分布会随时间漂移，今天的正常阈值到了下个月可能就不适用了。需要定期重训或动态阈值。

本章核心框架：异常值分析全景图

下面这张SVG图汇总了异常值的基础概念、分类、影响及处理思路。你先看整体结构，后面的章节会逐一展开每个子模块。

异常值处理思路预览

虽然本章不深挖具体算法，但我先给个处理路线图，帮你建立整体认知：

1. 识别 —— 用可视化（箱线图、散点图）或统计方法（IQR、Z-score、DBSCAN）找到疑似异常点。
2. 诊断 —— 跟业务方确认这些值是否合理。比如设备温度85°C是正常还是故障？
3. 决策 —— 信号就保留（甚至额外标注），噪音就剔除/修正/缩尾处理。
4. 验证 —— 处理前后对比模型表现或关键统计量，确保没引入偏差。