1. 课程导入与异常值认知
食品检测数据与一般工业测量数据有一个显著差别:它往往同时受“样品本身不均匀”“前处理操作差异”“仪器状态波动”“标准曲线漂移”四类因素影响,且很多指标(如菌落总数、农药残留、重金属含量)本身分布偏态明显。这意味着在食品检测中,一个看起来“离群”的数值,既可能是操作失误或仪器故障造成的错误数据,也可能是样品真实存在的污染热点。异常值处理的第一步不是删除,而是判断它属于哪一类。
一、食品检测数据的三个典型特点
第一是小样本、重复次数有限。理化检测常做双平行或三平行,微生物检测的平行样更少,统计上可用的样本量很小,任何一次粗差都会显著拉偏均值与标准差。第二是量纲与数量级跨度大,水分含量以百分数计,兽药残留可能以 μg/kg 计,铅镉以 mg/kg 计,同一张报告里并存多个数量级,直接比较绝对偏差没有意义,必须结合相对偏差与检出限判断。第三是结果与判定限强相关,很多检测项目的结论是“合格/不合格”,异常值是否保留会直接改变判定方向,因此处理过程必须可追溯、有依据。
二、异常值的定义与分类
在统计学上,异常值指与同一总体中其余观测值不一致的观测。落到食品检测场景,可按成因分为三类,处理策略完全不同:
- 粗差(错误值):由记录错误、单位换算错误、稀释倍数算错、进样瓶放错、天平未归零等造成。这类值没有统计意义,应核实原始记录后更正或剔除,并留下更正说明。
- 离群值(可疑值):数值偏离同组其他结果,但无法确认是错误。需要用格拉布斯(Grubbs)检验、狄克逊(Dixon)检验或 ISO 5725 相关方法做统计判定,再决定取舍。
- 真实极端值:样品本身不均匀(如霉变颗粒、局部污染)、加工环节引入的局部高浓度,属于客观事实,不能剔除,应通过增加取样点、加大样本量来表征。
三、异常值对检测结论的影响
以一个教学示例说明:某实验室测定一批酱腌菜样品的亚硝酸盐含量(以 NaNO₂ 计),三次平行结果为 2.1、2.3、8.6 mg/kg,方法定量限 0.5 mg/kg,限量要求 ≤ 20 mg/kg。若直接取均值,结果为 4.33 mg/kg;若 8.6 属粗差并剔除,均值为 2.2 mg/kg。两者都判合格,但报告值相差近一倍,若用于趋势分析或批次一致性评价,结论会完全不同。反过来,若限量为 5 mg/kg,保留 8.6 会判不合格,剔除后判合格——此时异常值处理直接决定判定方向,必须有统计依据和复核记录支撑。
更隐蔽的影响在于精密度评价。平行样相对偏差是实验室内部质量控制的核心指标,一个错误值会把相对偏差从 5% 抬到 60% 以上,触发质控报警,导致整批数据被误判为失控而重做。因此异常值处理不仅是“删不删”的问题,还关系到质控数据的可信度。
四、课程学习路径与实战项目
本课程按“认知—判定—处理—验证—落地”推进,共 30 节。前段建立异常值分类与判定意识;中段进入具体方法:格拉布斯与狄克逊检验的手算与软件实现、稳健统计量(中位数、MAD)的使用、检出限附近数据的处理规则、平行样与质控样异常的分开处理;后段覆盖实验室信息管理系统(LIMS)中的数据审核流程、异常值处理记录的规范写法,以及如何应对评审与复现要求。
贯穿全程的实战项目是:给定一批酱腌菜样品的亚硝酸盐检测原始数据(含平行样、加标回收、质控样),要求学员完成从数据核查、异常值识别与统计判定、处理决策到最终报告与处理记录的全流程。项目数据为教学构造的示例数据,用于训练判断逻辑,不作为真实检测结论。完成项目后,学员应能独立回答三个问题:这个值为什么可疑、我依据什么决定取舍、我的处理过程能否被第三方复核。