3. 异常值检测的统计学基础

在食品检测中，判断一个可疑数据是否属于异常值，不能只凭“看起来偏大或偏小”的直觉，而应建立在描述性统计与分布假设之上。异常值检测的本质，是回答一个问题：这个观测值距离数据主体有多远，这种距离在给定分布下出现的概率有多小？本节围绕描述性统计、分布假设、正态性检验、Z分数与Grubbs检验展开，并说明它们在食品检测数据中的适用条件。

一、描述性统计：先看清数据主体

任何异常值判断都应从描述性统计开始。常用指标包括均值、标准差、中位数、四分位数、极差与变异系数。均值与标准差对异常值敏感，一个极端值会同时拉高均值和标准差；中位数与四分位距（IQR）则具有稳健性，不易被少数极端值带偏。因此在食品检测中，通常先同时计算这两组指标，观察二者是否“打架”。

例如某批乳粉的蛋白质含量平行测定结果为（单位：g/100g）：15.2、15.4、15.3、15.5、15.1、15.3、18.9。前6个数据集中在15.1～15.5，均值约15.30，标准差约0.14；加入18.9后，均值升至15.81，标准差升至1.36。标准差被放大约10倍，说明该点强烈影响离散程度。此时若直接用含异常值的标准差做Z分数，反而会“掩盖”异常——这正是需要先做稳健统计、再选检验方法的原因。

二、分布假设：检验方法的前提

Z分数与Grubbs检验都建立在“数据来自正态分布（或近似正态）”的假设上。食品检测数据常见的情形是：同一实验室、同一方法、同一样品的平行测定或重复测量，其随机误差近似服从正态分布；而不同批次、不同产地、不同工艺的样品混合在一起时，往往呈偏态或多峰，不能直接套用正态假设。

因此，使用前应明确数据的“同质性”边界：只对同一总体下的重复观测做异常值检验，不要把不同来源的数据混在一组里检验。若数据明显偏态，可考虑对数变换后再检验，或改用基于中位数与IQR的稳健准则（如1.5倍IQR规则）。

三、正态性检验：判断能否用参数方法

常用正态性检验包括Shapiro-Wilk检验（小样本首选，n一般在3～50）、Anderson-Darling检验与Kolmogorov-Smirnov检验。实践中常配合正态概率图（Q-Q图）直观观察点是否沿直线分布。需要强调的是：正态性检验本身也会被异常值干扰，一个极端点可能使原本正态的数据被判定为“非正态”。因此合理顺序是：先看Q-Q图与稳健统计识别可疑点，再在剔除可疑点后检验剩余数据的正态性，最后决定是否采用Z分数或Grubbs检验。

四、Z分数与Grubbs检验的原理

Z分数衡量单个观测值偏离均值的标准化距离：Z=(x−x̄)/s。|Z|越大，越可疑。经验上|Z|>3常被视为可疑，但在小样本中这一阈值并不严格，且均值与标准差本身受该点影响，存在“掩蔽效应”。

Grubbs检验正是为单异常值场景设计的统计检验。其统计量为 G=max|x−x̄|/s，即最大偏差与标准差的比值。在显著性水平α下，将G与临界值比较：

G临界 = ((n−1)/√n) × √( t²(α/(2n), n−2) / (n−2+t²(α/(2n), n−2)) )

其中：n为样本量，t为t分布分位数，α常取0.05
判断：G > G临界 → 该点为异常值（拒绝原假设）

以n=7、α=0.05为例，G临界约为2.02。前述蛋白质数据中，18.9对应的偏差为|18.9−15.81|=3.09，s=1.36，G≈2.27>2.02，判定为异常值。若剔除后对剩余6个数据再检验，可继续判断是否存在第二个异常值——但Grubbs检验一次只检验一个最大值，多异常值需迭代或改用其他方法。

五、在食品检测数据中的适用条件

结合上述原理，Z分数与Grubbs检验在食品检测中适用需满足以下条件：其一，数据来自同一总体，即同一样品、同一方法、同一仪器、同一操作者条件下的重复测定；其二，随机误差近似正态，可通过Q-Q图或Shapiro-Wilk检验辅助确认；其三，样本量适中，Grubbs检验在n≥3时可用，但n过小（如3～4）时临界值很大、检出能力弱，n过大（如超过100）时对单个异常值也不够灵敏，此时可考虑迭代Grubbs或广义ESD方法；其四，检验应单侧或双侧明确，食品检测中若只关心“偏高”的异常（如污染物超标），可用单侧检验。

还需注意：统计检验只能回答“是否可疑”，不能回答“为什么异常”。判定为异常值后，应先核查原始记录、仪器状态、试剂批号、称量与定容过程，确认是否存在记录错误、污染、仪器漂移等可解释原因。可解释的应更正或复测；无法解释的，才按实验室数据管理程序决定剔除并记录理由。切忌“先剔除、后找理由”，也不要在未做统计判断的情况下随意删除数据。

综上，描述性统计帮助看清数据主体，分布假设与正态性检验决定方法是否可用，Z分数提供直观的偏离度量，Grubbs检验给出可判定的统计阈值。四者构成一条完整的判断链：先稳健观察，再确认前提，最后用检验定量判断，并结合专业原因核查作出处理决定。