3. 统计学方法（一）：基于正态分布的异常检测

在数据报表的异常检测场景中，统计学方法是最经典、最基础的一类手段。其核心思想是：正常数据服从某种统计分布，偏离该分布太远的数据即为异常。本章重点介绍两种基于正态分布假设的常用方法：3σ原则与Z-Score方法。

3.1 基于正态分布的3σ原则

3σ原则（又称拉依达准则）建立在数据服从正态分布（或近似正态分布）的假设之上。在正态分布中，数据落在均值（μ）附近不同标准差（σ）范围内的概率是固定的：

判定规则：如果某个数据点与均值的距离超过3倍标准差（即 |x - μ| > 3σ），则将其标记为异常值。

3.2 Z-Score方法原理与计算

Z-Score（标准分数）是3σ原则的标准化版本。它衡量一个数据点距离均值有多少个标准差，计算公式为：

Z = (x - μ) / σ

其中：
  x  = 待检测的数据点
  μ  = 样本均值
  σ  = 样本标准差

判定阈值：通常取 |Z| > 3 作为异常判定标准（对应3σ原则）。在某些严格场景下，也可取 |Z| > 2.5 或 |Z| > 2。

3.3 适用场景与局限性

3.4 方法对比与选择建议

3.5 Python代码实现

以下代码演示如何使用 Python 实现 3σ 原则和 Z-Score 异常检测：

import numpy as np
import pandas as pd

def detect_outliers_3sigma(data):
    """
    基于3σ原则的异常检测
    参数:
        data: 一维数组或列表
    返回:
        outliers: 异常值列表
        normal: 正常值列表
    """
    mu = np.mean(data)
    sigma = np.std(data)
    lower_bound = mu - 3 * sigma
    upper_bound = mu + 3 * sigma

    outliers = [x for x in data if x < lower_bound or x > upper_bound]
    normal = [x for x in data if lower_bound <= x <= upper_bound]

    return outliers, normal, (mu, sigma, lower_bound, upper_bound)

def detect_outliers_zscore(data, threshold=3.0):
    """
    基于Z-Score的异常检测
    参数:
        data: 一维数组或列表
        threshold: Z值阈值，默认3.0
    返回:
        outliers: 异常值列表
        z_scores: 每个数据点的Z值
    """
    mu = np.mean(data)
    sigma = np.std(data)
    z_scores = [(x - mu) / sigma for x in data]

    outliers = [data[i] for i, z in enumerate(z_scores) if abs(z) > threshold]

    return outliers, z_scores

# 示例：模拟报表响应时间数据（单位：ms）
np.random.seed(42)
normal_data = np.random.normal(loc=200, scale=30, size=1000)
# 注入5个异常值
anomalies = np.array([50, 380, 420, 30, 450])
data = np.concatenate([normal_data, anomalies])

# 使用3σ原则检测
outliers_3s, normal_3s, stats = detect_outliers_3sigma(data)
print(f"3σ原则检测结果：发现 {len(outliers_3s)} 个异常值")
print(f"均值={stats[0]:.2f}, 标准差={stats[1]:.2f}")
print(f"正常区间: [{stats[2]:.2f}, {stats[3]:.2f}]")

# 使用Z-Score检测
outliers_z, z_scores = detect_outliers_zscore(data, threshold=3.0)
print(f"\nZ-Score检测结果：发现 {len(outliers_z)} 个异常值")
print(f"最大Z值: {max(z_scores):.2f}, 最小Z值: {min(z_scores):.2f}")