3. 异常识别的基本统计量

污染物浓度监测数据在进入复杂模型或人工研判之前,通常需要先做一轮“初筛”:把明显偏离总体行为、值得进一步核查的观测挑出来。初筛的目标不是直接判定污染事件,而是用尽量简单、可解释的统计量,把可疑点从海量数据中分离出来,降低后续核查的工作量。本节围绕均值、方差、分位数以及中位数、MAD 等稳健统计量,说明它们各自刻画什么、如何用于初筛、在什么情况下会失效。

一、四类统计量各自回答什么问题

均值回答“数据中心在哪里”。对浓度序列 $x_1,\dots,x_n$,均值 $\bar{x}=\frac{1}{n}\sum x_i$ 是最常用的位置度量,计算简单、含义直观。但均值对极端值极其敏感:一个远高于其余观测的浓度值会把均值整体拉高,使“正常”与“异常”的边界发生偏移。

方差与标准差回答“数据分散到什么程度”。样本方差 $s^2=\frac{1}{n-1}\sum (x_i-\bar{x})^2$,标准差 $s=\sqrt{s^2}$。它们同样是平方型统计量,异常值对平方项的贡献被放大,因此方差本身也会被异常值“污染”。这意味着用“均值 ± k 倍标准差”做初筛时,异常值既抬高了中心,又撑大了尺度,容易造成漏检。

分位数回答“数据在不同位置上的分布形态”。第 p 分位数是把数据从小到大排列后处于 p 位置的取值,常用四分位数 Q1、Q2(中位数)、Q3,以及四分位距 IQR = Q3 − Q1。分位数只依赖排序位置,不受个别极端值数值大小的影响,因此比均值和方差稳健得多。经典的箱线图规则把小于 Q1 − 1.5·IQR 或大于 Q3 + 1.5·IQR 的点标为离群点,这一规则在浓度初筛中非常常用。

稳健统计量中,中位数是把数据排序后取中间位置的值,它对极端值不敏感;MAD(中位数绝对偏差)定义为 $\mathrm{MAD}=\mathrm{median}(|x_i-\mathrm{median}(x)|)$,刻画的是“各观测到中位数的距离的中位数”。与标准差相比,MAD 不会被少数极端值放大,是稳健尺度度量的代表。工程上常配合使用稳健 z 分数:$z_i^{rob}=\dfrac{0.6745\,(x_i-\mathrm{median})}{\mathrm{MAD}}$,其中 0.6745 是使 MAD 在正态分布下与标准差可比的换算系数,通常以 $|z_i^{rob}|>3.5$ 作为初筛阈值。

同一浓度序列:常规统计量 vs 稳健统计量 示例数据(单位:mg/L):12.1, 12.8, 13.0, 13.4, 13.9, 14.2, 14.6, 15.0, 15.3, 41.0 常规统计量:均值 ± k·标准差 10 15 20 25 30 35 41.0 均值 16.5 均值 ± 1 倍标准差 ≈ [7.2, 25.8] 稳健统计量:中位数 ± 3.5·MAD/0.6745 10 15 20 25 30 35 41.0 中位数 14.05 稳健阈值上限 ≈ 17.9 超出稳健阈值 → 初筛标记

二、用示例数据走一遍初筛计算

设某断面连续 10 个时段的氨氮浓度(mg/L)为:12.1、12.8、13.0、13.4、13.9、14.2、14.6、15.0、15.3、41.0。这是一组人为构造的示例数据,用于说明计算过程,并非实测结果。

先算常规统计量:均值约 16.5,样本标准差约 8.9。按“均值 ± 1 倍标准差”得到区间约 [7.2, 25.8],41.0 落在区间之外,可以被识别;但若把阈值放宽到 ±2 倍标准差,上限升到约 34.3,41.0 仍在外,而一旦数据中异常值更多或更大,标准差会被进一步撑大,阈值上限可能超过异常值本身,导致漏检。这就是“异常值污染尺度估计”的典型表现。

再算稳健统计量:排序后中位数为 (13.9 + 14.2)/2 = 14.05;各观测到中位数的绝对偏差排序后,MAD 约为 1.05。按 $z_i^{rob}=\dfrac{0.6745(x_i-14.05)}{1.05}$ 计算,41.0 对应的稳健 z 分数约为 17.3,远超 3.5 的常用阈值,被明确标记;其余观测的稳健 z 分数绝对值均小于 1.5,不会被误报。可见在含极端值的场景下,中位数 + MAD 的初筛更稳定。

三、分位数与箱线图规则的用法

分位数方法不依赖分布假设,适合偏态明显的浓度数据。以同一组数据为例,Q1 约为 13.1,Q3 约为 15.0,IQR 约为 1.9,箱线图上界 Q3 + 1.5·IQR 约为 17.9,41.0 同样被标为离群点。与 MAD 方法相比,箱线图规则更直观、便于向业务方解释,但对样本量较小时的分位数估计不够稳定,且 1.5 倍 IQR 只是经验系数,遇到重尾分布时可能标记过多或过少。

初筛实践中,建议同时计算“均值 ± k·标准差”和“中位数 ± k·MAD/0.6745”两套阈值,并观察两者标记结果的差异。差异大的点往往正是需要优先人工核查的对象;若两套方法结论一致,可信度更高。

四、这些统计量的局限与使用边界

第一,依赖数据分布形态。均值、标准差在近似对称、无极端值时表现良好;浓度数据常呈右偏分布,直接套用正态假设会高估上侧阈值。第二,受异常值污染。方差、标准差、均值都会被极端值拉偏,样本量越小越明显。第三,忽略时间结构。上述统计量把序列当作独立同分布样本,无法识别“缓慢漂移”“周期性波动”“突变后恢复”等时间模式,可能把正常日变化误判为异常,也可能漏掉持续的小幅超标。第四,阈值系数是经验值。3.5、1.5 等系数来自一般经验,需结合监测频次、仪器精度、历史数据分布做本地化校准。第五,不区分异常类型。统计量只能回答“偏离多少”,不能回答“为什么偏离”,必须结合工况、降雨、排放规律等信息做二次判断。

因此,合理的做法是把这些统计量定位为“初筛工具”而非“判定工具”:先用稳健统计量圈定候选异常点,再用时间序列方法、同类站点对比、工况记录进行复核,最终由业务规则或人工确认是否构成真正的浓度异常。这样既发挥了统计量计算简单、可解释性强的优势,也避免了把统计偏离直接等同于污染事件的风险。