4. 基于箱线图与四分位距的异常值识别
箱线图(Box Plot)是食品检测数据审核中最直观的异常值筛查工具之一。它不依赖正态分布假设,用五个统计量——下须、第一四分位数 Q1、中位数、第三四分位数 Q3、上须——把一组检测结果的分布形态和离群点同时呈现出来。本节围绕箱线图的绘制、IQR 准则的计算、偏态数据的调整策略,以及一个食品检测场景下的完整案例,说明如何把图形判断落到可复现的数值规则上。
一、箱线图的构成与 IQR 准则
设一组检测结果按升序排列为 x₁ ≤ x₂ ≤ … ≤ xₙ。第一四分位数 Q1 是第 25 百分位数,Q3 是第 75 百分位数,四分位距 IQR = Q3 − Q1。箱体从 Q1 画到 Q3,箱内横线为中位数;箱体高度即 IQR,反映中间 50% 数据的离散程度。须线通常延伸到“非异常”范围内的最远观测值,而超出该范围的观测点单独标为离群点。
常用的判断界限为:
下界 = Q1 − 1.5 × IQR
上界 = Q3 + 1.5 × IQR
轻度异常:超出 [下界, 上界] 但未超出 3 × IQR
极端异常:超出 Q1 − 3×IQR 或 Q3 + 3×IQR
需要强调,1.5 与 3 是经验系数,不是法规阈值。它们的作用是把“值得复核的点”从大量正常波动中筛出来,最终是否判为异常,仍要结合方法检出限、平行样结果、质控样回收率和样品基质来判断。食品检测中,微生物指标、痕量污染物、水分与灰分等项目的合理波动范围差异很大,同一套系数在不同项目上的“敏感度”并不相同。
二、偏态数据为什么要调整
食品检测数据常呈右偏分布:大多数样品浓度较低,少数样品受污染或基质富集而明显偏高,例如铅、镉、黄曲霉毒素 M₁、菌落总数等。右偏数据下,Q1 与 Q3 被拉向低值一侧,IQR 偏小,上界随之偏低,容易把本来属于同一污染梯度的样品误标为离群点;反过来,左偏数据(如某些高纯度成分的含量、水分活度接近上限的样品)则容易在下侧产生假异常。
处理偏态的常用做法有三类。第一,对数据取对数变换 y = ln(x)(要求 x > 0),在变换尺度上计算 Q1、Q3 与 IQR,再把界限反变换回原尺度:下界 = exp(lnQ1 − 1.5×IQR_ln),上界 = exp(lnQ3 + 1.5×IQR_ln)。第二,改用中位数绝对偏差 MAD 构造稳健界限,中位数 ± 3×1.4826×MAD,对极端值不敏感。第三,对明显双峰或分群数据(如不同产地、不同季节样品混在一起),先分层再分别作箱线图,而不是强行用一套界限覆盖全部样品。选择哪种方式应在报告中写明,保证结果可追溯。
三、案例操作:某批大米镉含量筛查
以下数据为教学示例,用于演示计算流程,不代表任何实际检测结果。某实验室对同一批次大米抽取 20 份样品,按 GB 5009.15 方法测定镉含量(mg/kg),结果升序排列为:
0.021 0.024 0.026 0.028 0.030 0.031 0.033 0.035 0.036 0.038
0.040 0.042 0.045 0.048 0.052 0.058 0.066 0.081 0.112 0.196
计算四分位数。n = 20,Q1 位置为 (20+1)×0.25 = 5.25,取第 5 与第 6 个值的线性插值:0.030 + 0.25×(0.031−0.030) = 0.03025。Q3 位置为 (20+1)×0.75 = 15.75,取第 15 与第 16 个值插值:0.052 + 0.75×(0.058−0.052) = 0.0565。中位数为第 10、11 个值的平均:(0.038+0.040)/2 = 0.039。于是 IQR = 0.0565 − 0.03025 = 0.02625。
按 1.5 倍准则:上界 = 0.0565 + 1.5×0.02625 = 0.0959,下界 = 0.03025 − 1.5×0.02625 = −0.0091(含量不可能为负,下界实际不起作用)。0.112 与 0.196 两个点超出上界,被标为离群点;其中 0.196 同时超过 Q3 + 3×IQR = 0.1353,属于极端异常。
但数据明显右偏:前 15 个值集中在 0.021~0.052,尾部拖得很长。此时直接使用原尺度界限,0.112 被标为异常,而它可能只是同一污染梯度的正常高值。改在对数尺度计算:ln 值排序后 Q1_ln ≈ ln(0.03025) ≈ −3.499,Q3_ln ≈ ln(0.0565) ≈ −2.874,IQR_ln ≈ 0.625。上界_ln = −2.874 + 1.5×0.625 = −1.937,反变换得上界 ≈ 0.144;下界_ln = −3.499 − 0.9375 = −4.437,反变换得下界 ≈ 0.0118。调整后只有 0.196 超出上界,0.112 回到正常范围内。这一差异说明:对右偏的痕量污染物数据,对数尺度往往更贴合实际分布,能减少假阳性。
四、结果解读与处置
识别出离群点只是第一步,接下来要按“先查数据、再查过程、后判样品”的顺序处置。先核对原始记录:称样量、消解条件、定容体积、标准曲线、仪器读数是否录入错误,平行样与加标回收是否同步异常。若平行样相对偏差超过方法要求(例如痕量元素常控制在 20% 以内),该结果本身不可信,应重新测定而非直接判为样品异常。若质控样回收率落在可接受区间、平行样一致,则离群点更可能是样品真实的高值,应结合采样点位、原料产地、加工工艺判断是否需要复检或扩大抽样。
报告呈现时,建议同时给出箱线图、Q1/Q3/中位数、IQR、所用界限与是否作变换,并注明离群点的处置结论(保留、剔除或复检)。剔除必须有依据,不能仅因“看起来高”就删除;对食品检测而言,一个被误删的高值可能正是风险信号。对于样本量小于 8 的数据组,四分位数估计不稳定,箱线图只宜作辅助观察,不宜单独作为异常判定依据。