1. 异常值概述

1.1 异常值的定义

异常值（Outlier），又称离群点，是指在数据集中显著偏离其余观测值的个别数据点。从统计角度看，异常值通常落在整体数据分布的两端极远处，使得其出现概率远低于正常数据范围。

异常值并非总是“错误”的数据，它可能携带重要的业务信息。例如，在金融反欺诈中，一笔异常的大额交易可能就是欺诈行为的信号。

1.2 异常值的产生原因

理解异常值的来源是正确清洗数据的前提。根据来源性质，可将异常值分为以下三类：

1. 数据录入错误：人为操作失误导致的数据偏差，如键盘误触、单位混淆、格式错误。
2. 测量误差：仪器故障、传感器漂移、环境干扰导致的数值失真。
3. 自然变异：数据本身固有的极端波动，反映真实世界的稀有事件或长尾分布。

1.3 异常值对数据分析的影响

异常值对数据分析的影响具有两面性：一方面可能严重扭曲统计结果和模型性能；另一方面也可能揭示有价值的业务洞察。以下是主要影响维度：

• 统计指标失真：均值、标准差等对异常值敏感的统计量会被严重拉偏，导致描述性统计失去代表性。
• 模型性能下降：线性回归、逻辑回归等模型对异常值敏感，可能导致参数估计偏差、预测精度降低。
• 假设检验失效：异常值会增大方差，降低检验的统计功效，导致假阴性或假阳性结论。
• 可视化误导：箱线图、散点图等可视化工具中，异常值可能压缩正常数据的显示范围，掩盖真实模式。
• 业务决策风险：基于被污染的数据做出的决策可能偏离实际，造成资源浪费或机会损失。