1、异常值检测概述
1.1 什么是异常值
异常值（Outlier）是指在数据集中显著偏离大多数观测值的个体数据点，其生成机制往往与正常数据不同。在统计学和机器学习领域，异常值通常被定义为“与数据主体分布存在显著差异的观测值”，这种差异可能源于测量误差、数据录入错误、系统故障或真实但罕见的异常事件。
从概率角度看，异常值通常落在数据分布的低概率区域。例如，在正态分布中，偏离均值超过 3 个标准差的数据点即可被视为潜在异常值。然而，异常值的定义高度依赖于具体业务场景和数据特性——在某个场景中被视为异常的值，在另一个场景中可能是正常波动。
核心认知：异常值 ≠ 错误值。异常值可能是宝贵的信息载体，例如金融交易中的欺诈行为、工业设备故障前的预警信号，或网络安全中的入侵迹象。盲目删除异常值可能导致关键信息的丢失。
1.2 异常值的类型
根据异常值在数据空间中的分布特征和影响范围，可将其划分为三种基本类型。下表总结了各类异常值的核心特征与典型示例：
| 类型 | 定义 | 关键特征 | 典型示例 |
|---|---|---|---|
| 全局异常点 （Global Outlier） |
在整体数据分布中显著偏离所有其他数据点的个体 | 全局视角、单一维度或多维均可识别、最直观 | 信用卡单笔消费 100 万元，而正常消费在 100~5000 元之间 |
| 局部异常点 （Local Outlier） |
相对于其局部邻域内的数据点表现出显著偏离 | 依赖局部密度、全局视角可能无法发现、需要邻域分析 | 在气温 25~30°C 的夏季，某一天气温骤降至 10°C |
| 集体异常点 （Collective Outlier） |
一组数据点作为一个整体，其行为模式偏离整个数据集的期望模式 | 单个点可能正常、组合模式异常、序列或图结构常见 | 网络流量中连续 10 秒的异常高频请求（DDoS 攻击） |
下图展示了三种异常值类型在二维空间中的分布形态，帮助直观理解其差异：
1.3 异常值检测的应用场景
异常值检测技术已广泛应用于多个行业领域，以下三个场景最具代表性：
金融风控
在金融领域，异常值检测是反欺诈和风险管理的核心手段。系统通过分析交易金额、频率、地理位置、设备指纹等多维特征，实时识别与用户历史行为模式不符的异常交易。典型应用包括：
- 信用卡欺诈检测：识别短时间内异地大额消费、重复小额测试交易等异常模式
- 反洗钱监控：检测资金在多个账户间快速流转的“洗钱”路径
- 信贷风险评估：发现申请资料中的异常信息组合，识别虚假申请
工业质检
在智能制造场景中，异常值检测用于产品表面缺陷识别、设备预测性维护和生产过程监控。传感器采集的温度、振动、压力等时序数据中的异常波动，往往是设备故障的前兆信号。
- 表面缺陷检测：通过图像特征提取，识别产品表面的划痕、凹陷、色差等异常区域
- 设备健康管理：监测关键设备的振动频谱，提前预警轴承磨损、齿轮断裂等故障
- 工艺参数监控：检测生产线上温度、压力等参数的瞬时异常，防止批量不良品产生
网络安全
网络安全领域利用异常值检测技术识别入侵行为、恶意流量和系统异常。网络流量数据具有高维度、高噪声、实时性强的特点，对检测算法的效率和鲁棒性提出了较高要求。
- 入侵检测系统（IDS）：分析网络数据包特征，识别端口扫描、SQL注入等攻击行为
- 用户行为分析（UBA）：检测内部人员的异常登录时间、异常数据访问量等潜在威胁
- DDoS攻击识别：发现短时间内来自同一IP或IP段的异常高频请求模式
场景对比总结：金融风控侧重实时性和可解释性，工业质检强调准确率和误报率控制，网络安全则对高维数据处理能力和检测速度有更高要求。不同场景对异常值类型的敏感度也不同——金融风控更关注全局异常点，工业质检常涉及局部异常点，网络安全中集体异常点（如DDoS攻击）更为常见。
下图展示了异常值检测在三大应用场景中的典型流程与核心关注点：