3. 数据分布与异常值：正态分布、偏态分布、长尾分布中异常值的表现特征

异常值的识别不能脱离数据的整体分布形态。同一数值在不同分布中可能具有完全不同的异常含义。理解正态分布、偏态分布与长尾分布中异常值的表现特征，是选择检测方法与设定阈值的前提。

3.1 三种分布的核心特征对比

3.2 正态分布中的异常值

正态分布是异常值检测的基准场景。根据经验法则，约 99.7% 的数据落在均值 ±3 个标准差范围内。落在该范围之外的点通常被视为潜在异常值。

• 检测标准：Z-score 绝对值 > 3 或 IQR 方法（Q1 - 1.5×IQR, Q3 + 1.5×IQR）。
• 表现特征：异常值数量少（通常 < 1%），与主体数据有明显间隔，视觉上孤立于分布两端。
• 风险：当样本量较小时（n < 30），3σ 阈值可能过于宽松，漏检真实异常。

import numpy as np

# 模拟正态分布数据
np.random.seed(42)
data = np.random.normal(loc=50, scale=10, size=1000)
# 注入两个异常值
data[0] = 5.0
data[1] = 95.0

# Z-score 检测
mean, std = np.mean(data), np.std(data)
z_scores = np.abs((data - mean) / std)
outliers = data[z_scores > 3]
print(f"正态分布异常值: {outliers}")

3.3 偏态分布中的异常值

偏态分布中，数据在某一侧聚集，另一侧形成拖尾。异常值主要出现在拖尾方向，且由于分布不对称，使用对称的 Z-score 方法容易产生误判。

• 右偏分布：异常值集中在右侧尾部，数值远大于上四分位数。常见于收入、房价、点击量数据。
• 左偏分布：异常值集中在左侧尾部，数值远小于下四分位数。常见于寿命、完成时间（下限约束）数据。
• 检测修正：使用偏度调整后的箱线图（Skewness-Adjusted Boxplot），其上下界公式为：

# 偏度调整箱线图示意（使用 medcouple）
from scipy.stats import medcouple

def adjusted_boxplot_bounds(data):
    q1, q3 = np.percentile(data, [25, 75])
    iqr = q3 - q1
    mc = medcouple(data)
    if mc >= 0:
        lower = q1 - 1.5 * np.exp(-4 * mc) * iqr
        upper = q3 + 1.5 * np.exp(3 * mc) * iqr
    else:
        lower = q1 - 1.5 * np.exp(-3 * mc) * iqr
        upper = q3 + 1.5 * np.exp(4 * mc) * iqr
    return lower, upper

3.4 长尾分布中的异常值

长尾分布（如幂律分布、帕累托分布）的尾部衰减极慢，大量数据点分布在远离中心的位置。这些点不是“错误”，而是分布的自然组成部分。典型场景包括：网页访问量、地震震级、城市人口规模。

3.5 三种分布异常值表现对比图

下图从视觉上对比了正态分布、右偏分布与长尾分布中异常值的典型位置与密度差异。

3.6 分布识别与异常检测策略选择

在实际项目中，建议按以下流程选择异常值检测方法：

1. 可视化初判：绘制直方图 + 箱线图，观察分布对称性与尾部厚度。
2. 计算偏度与峰度：偏度 > 1 或 < -1 视为显著偏态；峰度 > 5 提示厚尾。
3. 分布拟合检验：使用 Q-Q 图或 Shapiro-Wilk 检验判断是否接近正态。
4. 选择检测方法：
   • 正态分布 → Z-score / IQR / Grubbs 检验
   • 偏态分布 → 调整箱线图 / 分位数截断 / 变换后检测
   • 长尾分布 → 对数变换 + Z-score / 分布拟合 + 残差分析 / 聚类方法