4. 基于分布假设的异常识别

前三节我们讨论了异常值的来源、影响以及基于经验规则的粗筛方法。当数据量足够、且能够合理假定其服从某种理论分布时，就可以把"异常"转化为一个统计问题：某个观测值在假定分布下出现的概率是否小到可以怀疑它来自另一个总体。本节围绕正态分布与对数正态分布两条主线，介绍Z分数、Grubbs检验和Dixon检验的构造方式、适用条件，以及在污染物浓度数据中的具体用法。

一、先确定分布假设：浓度数据为什么常取对数

环境介质中的污染物浓度通常具有三个特征：非负、右偏、低浓度样本占多数而偶有高值。以某监测点PM2.5中某重金属的日浓度为例，多数日子在几到几十 ng/m³，少数重污染过程可达数百 ng/m³。这类数据直接做直方图往往明显右拖尾，而取自然对数后接近对称甚至近似正态，这就是典型的对数正态分布。

因此在实际操作中，第一步不是套公式，而是判断该用哪条路径：

• 近似对称、无强右偏的数据（如经充分混合的水体pH、部分常规指标）可直接按正态处理；
• 明显右偏、跨越多个数量级的浓度（重金属、有机物、颗粒物组分）优先取对数后按正态处理；
• 判断手段可用直方图、Q-Q图，或偏度系数与峰度系数的粗略检查。样本量小于约8时分布形态难以可靠判断，此时统计检验的结论应格外谨慎。

二、Z分数：最直观但最容易被误用

Z分数定义为观测值与均值之差除以标准差：Z=(x−x̄)/s。它衡量的是"该点偏离中心多少个标准差"。在正态假设下，|Z|>3 对应的双侧概率约0.27%，常被作为粗筛阈值；若数据已取对数，则用 ln x 计算Z。

Z分数的问题在于掩蔽效应：异常值本身会抬高均值、放大标准差，使自己的Z变小。举例来说，某组浓度（μg/L）为 12.1、13.4、11.8、12.9、13.0、12.5、95.0。直接计算得均值约24.4、标准差约31.2，那个95.0的Z仅约2.26，按|Z|>3根本筛不出来。这正是需要Grubbs检验的原因——它通过更严格的统计量构造来处理这一问题。

三、Grubbs检验：单点异常的标准化检验

Grubbs检验的统计量为 G = max|x_i−x̄| / s，即所有点中Z分数绝对值最大者。在"数据来自正态总体"的原假设下，G服从可由样本量n确定的分布，其临界值可查表或按近似公式计算。双侧检验的常用近似临界值为：

G_crit(α=0.05) ≈ (n−1)/√n × √( t² / (n−2+t²) )
其中 t 为自由度 n−2 的 t 分布双侧分位数（α/(2n)）

实操中更常用查表：n=8时G临界值约2.13，n=10约2.29，n=15约2.55，n=20约2.71。仍以上述7个数为例，n=7时临界值约2.02，而计算得G≈2.26>2.02，因此判定95.0为异常值——与Z分数粗筛的结论相反，说明检验统计量的选择直接影响判断。

Grubbs检验的适用条件需要明确：数据近似正态（或对数变换后近似正态）、样本量一般不少于7、且一次只检验一个异常值。若怀疑存在多个异常值，应使用迭代Grubbs（每次剔除一个后重新计算），但迭代会改变显著性水平，需在报告中说明。此外，Grubbs对"两个相邻的极端值"不敏感，因为它们会互相拉低对方的Z。

四、Dixon检验：小样本的快速判据

当样本量很小（如3～10个平行样、少量点位复测值）时，Grubbs的检验效能不足，Dixon检验（Q检验）更合适。它只利用极端值与邻近值的间距构造统计量，例如检验最大值时：

Q = (x_max − x_(n−1)) / (x_max − x_min)

即"可疑值与最近邻的差距"占"全距"的比例。Q越大，说明该点越孤立。n=7时α=0.05的临界Q约0.507，n=8约0.526。若上例中95.0为可疑最大值，则Q=(95.0−13.4)/(95.0−11.8)=81.6/83.2≈0.981，远大于临界值，判定为异常。

Dixon检验的优点是计算极简、适合现场快速判断；缺点是只利用两三个极端值的信息，对中间数据的分布形态不敏感，且不同n对应不同临界表，n>10后效能下降明显，此时应改用Grubbs或更稳健的方法。

五、在浓度数据中的适用条件与常见陷阱

把上述方法用于实际监测数据时，有几条边界必须守住。第一，分布假设是前提而非结论：若对数变换后仍明显偏离正态（如存在双峰，提示混合污染源），Grubbs与Dixon的临界值都不再成立，应改用箱线图规则、稳健Z分数（基于中位数与MAD）或非参数方法。第二，异常不等于超标：统计检验识别的是"与同批数据不一致"的点，它可能是一次真实的污染事件，也可能是采样污染、仪器漂移或录入错误，必须结合采样记录、质控样和仪器日志回溯，不能仅凭检验结果删除数据。第三，样本量过小时不要强行检验：n<6时任何检验的效能都很低，此时更适合用平行样相对偏差、加标回收率等质控指标判断。

一个可复用的判断顺序是：先看分布形态决定是否取对数；再看样本量与可疑值个数选择Dixon、Grubbs或迭代Grubbs；检验判定为异常后，回到原始记录核查来源，确认是数据错误才剔除，确认是真实高值则应保留并在统计中单独说明。下表给出三种方法的对照，便于现场快速选用。

小结本节要点：分布假设决定了用哪把尺子，Z分数提供直观但易被掩蔽的粗筛，Grubbs适合n≥7的单点异常正式检验，Dixon适合小样本快速判断；三者都要求数据在变换后近似正态，且检验结论必须回到原始尺度解释、并结合质控信息确认异常的真实来源。