4. 统计学方法（一）：Z-Score 方法原理、适用条件（正态分布）、实现步骤与阈值选择

4.1 核心原理：基于标准差的偏离度量

Z-Score（标准分数）通过衡量数据点与均值的偏离程度来识别异常值。其核心假设是：在正态分布中，绝大多数数据集中在均值附近，远离均值的数据点出现的概率极低，因此可视为异常。

Z-Score 计算公式：

Z = (X - μ) / σ

• X：待检测的原始数据点
• μ：数据集的均值（总体或样本）
• σ：数据集的标准差（总体或样本）

Z-Score 表示数据点距离均值有多少个标准差。|Z| 越大，数据点越极端，成为异常值的可能性越高。

4.2 适用条件：正态分布假设

Z-Score 方法的有效性高度依赖数据分布形态。其适用条件与局限性如下：

4.3 实现步骤：从数据到异常标记

Z-Score 异常检测的完整流程包含以下 5 个步骤：

1. 数据清洗与预处理： 处理缺失值，确保数据为数值型。
2. 计算均值和标准差： 使用样本均值 mean() 和样本标准差 std(ddof=1)。
3. 计算每个数据点的 Z-Score： 对每个 X 计算 Z = (X - μ) / σ。
4. 设定阈值并标记异常： 常用阈值 |Z| > 3（严格）或 |Z| > 2（宽松）。
5. 输出异常结果： 返回异常索引列表或布尔掩码。

4.4 阈值选择策略

阈值的选择直接影响检测的灵敏度和特异度。不同场景下推荐不同的阈值：

4.5 Python 代码实现

以下代码展示了 Z-Score 异常检测的完整实现，包含正态性检验和阈值选择：

import numpy as np
import pandas as pd
from scipy import stats

def zscore_outlier_detection(data, threshold=3.0):
    """
    使用 Z-Score 方法检测异常值

    参数:
        data: array-like, 输入数据
        threshold: float, Z-Score 阈值（默认 3.0）

    返回:
        outliers: 异常值索引列表
        z_scores: 每个数据点的 Z-Score
        is_outlier: 布尔掩码
    """
    # 转换为 numpy 数组
    data = np.asarray(data)

    # 计算均值和标准差
    mean = np.mean(data)
    std = np.std(data, ddof=1)  # 样本标准差

    # 计算 Z-Score
    z_scores = (data - mean) / std

    # 标记异常
    is_outlier = np.abs(z_scores) > threshold
    outliers = np.where(is_outlier)[0]

    return outliers, z_scores, is_outlier

# 示例使用
if __name__ == "__main__":
    # 生成示例数据（正态分布 + 人为添加异常值）
    np.random.seed(42)
    normal_data = np.random.normal(loc=50, scale=10, size=1000)
    # 添加 5 个异常值
    outlier_data = np.array([10, 15, 85, 90, 95])
    data = np.concatenate([normal_data, outlier_data])

    # 执行检测
    outliers, z_scores, is_outlier = zscore_outlier_detection(data, threshold=3.0)

    print(f"检测到 {len(outliers)} 个异常值")
    print(f"异常值索引: {outliers}")
    print(f"异常值数据点: {data[outliers]}")

4.6 方法优缺点总结