4. 异常值检测方法概览：统计方法、距离方法、密度方法与模型方法

在风控数据清洗与质量优化中，异常值检测是识别数据噪声、欺诈行为或系统误差的关键步骤。不同的检测方法适用于不同的数据分布与业务场景。本章系统梳理四大类主流异常值检测方法：统计方法、距离方法、密度方法与模型方法，帮助您根据数据特征与风控目标选择最合适的检测策略。

4.1 统计方法：Z-score 与 IQR

统计方法基于数据服从特定分布（如正态分布）的假设，通过计算数据点与分布中心的偏离程度来识别异常。这类方法计算简单、可解释性强，是风控数据清洗的入门级工具。

4.1.1 Z-score 方法

Z-score 衡量数据点与均值的标准差距离。适用于近似正态分布的数据。通常设定阈值 |Z| > 3 为异常点。

import numpy as np

def zscore_detection(data, threshold=3):
    mean = np.mean(data)
    std = np.std(data)
    z_scores = np.abs((data - mean) / std)
    return np.where(z_scores > threshold)[0]

4.1.2 IQR 方法

IQR（四分位距）方法不依赖数据分布假设，通过箱线图的四分位数识别异常。适用于偏态分布或含有极端值的数据。

def iqr_detection(data, multiplier=1.5):
    Q1 = np.percentile(data, 25)
    Q3 = np.percentile(data, 75)
    IQR = Q3 - Q1
    lower_bound = Q1 - multiplier * IQR
    upper_bound = Q3 + multiplier * IQR
    return np.where((data < lower_bound) | (data > upper_bound))[0]

4.2 距离方法：KNN 异常检测

距离方法基于“异常点远离大多数正常点”的直觉。KNN（K-最近邻）异常检测通过计算每个样本与其 k 个最近邻的平均距离或最大距离来评估异常程度。距离越大，样本越可能是异常。

4.2.1 算法原理

• 距离度量：常用欧氏距离、曼哈顿距离或马氏距离。
• 异常分数：样本到其 k 个最近邻的平均距离。
• 判定规则：异常分数高于预设阈值（如 95% 分位数）的样本标记为异常。

4.2.2 适用场景与局限

• 适用：低维数据、全局异常检测、数据分布较为均匀。
• 局限：计算复杂度高（O(n²)），对 k 值敏感，在高维数据中距离度量失效（维度灾难）。

from sklearn.neighbors import NearestNeighbors
import numpy as np

def knn_anomaly_detection(data, k=5, contamination=0.05):
    nbrs = NearestNeighbors(n_neighbors=k).fit(data)
    distances, _ = nbrs.kneighbors(data)
    # 取第 k 近邻的距离作为异常分数
    anomaly_scores = distances[:, -1]
    threshold = np.percentile(anomaly_scores, (1 - contamination) * 100)
    return np.where(anomaly_scores > threshold)[0]

4.3 密度方法：LOF（局部异常因子）

密度方法解决了全局方法无法识别局部异常的问题。LOF 通过比较样本局部密度与其邻居局部密度的比值来识别异常。如果样本密度显著低于邻居密度，则判定为异常。

4.3.1 LOF 核心概念

• k-距离：样本到第 k 近邻的距离。
• 局部可达密度：样本与其邻居之间可达距离的倒数。
• LOF 值：邻居局部可达密度的平均值与样本自身局部可达密度的比值。LOF > 1 表示样本密度低于邻居，可能为异常。

4.3.2 方法对比：KNN vs LOF

from sklearn.neighbors import LocalOutlierFactor

def lof_detection(data, contamination=0.05, n_neighbors=20):
    lof = LocalOutlierFactor(n_neighbors=n_neighbors, contamination=contamination)
    y_pred = lof.fit_predict(data)  # -1 表示异常
    return np.where(y_pred == -1)[0]

4.4 模型方法：孤立森林

孤立森林是一种基于集成学习的无监督异常检测算法。其核心思想是：异常点更容易被“孤立”，即通过随机划分特征空间，异常点所需的划分次数更少。

4.4.1 算法原理

• 构建孤立树：随机选择特征和分割点，递归划分数据，直到所有样本被孤立或达到树深度限制。
• 异常分数：样本在孤立树中的平均路径长度越短，异常分数越高。
• 优势：线性时间复杂度 O(n)，适合高维数据和大规模风控数据集。

4.4.2 参数配置建议

from sklearn.ensemble import IsolationForest

def isolation_forest_detection(data, contamination=0.05):
    model = IsolationForest(contamination=contamination, random_state=42)
    y_pred = model.fit_predict(data)  # -1 表示异常
    return np.where(y_pred == -1)[0]

4.5 方法综合对比与选择矩阵