3. 离群值排查的统计学基础

在岩土试验成果统计中,离群值排查并不是“凭经验挑出看着别扭的数”,而是先用描述统计把一批数据的分布形态刻画清楚,再据此判断某个值偏离到什么程度才算异常。均值、标准差、变异系数、分位数和箱线图,是完成这一判断最基础也最常用的五个工具。理解它们各自的含义与局限,尤其是正态分布与非正态分布对判定规则的影响,是后续所有排查方法能够正确使用的前提。

一、五个描述统计工具各自回答什么问题

均值反映数据的集中位置,是岩土参数标准值计算的起点。但均值对极端值非常敏感:一组含水率数据中若混入一个明显偏大的值,均值会被直接拉高,进而影响后续标准差和变异系数的计算。标准差刻画数据围绕均值的离散程度,单位与原始数据一致,是“3σ准则”等判定方法的直接依据;它的平方即方差,在推导中常用,但量纲不便直接解读。变异系数是标准差与均值之比(常用百分数表示),它把离散程度标准化,使不同量纲、不同量级指标之间可以横向比较,例如黏聚力与内摩擦角的变异性谁更大,用变异系数比用标准差更合理。

分位数把数据按大小排序后切分,中位数即第50百分位数,四分位数Q1、Q3分别对应第25、第75百分位数。分位数不依赖均值和标准差,对极端值不敏感,属于稳健统计量。箱线图正是建立在分位数之上的可视化工具:箱体上下边为Q3与Q1,箱内横线为中位数,箱体高度即四分位距IQR=Q3−Q1,须线通常延伸至1.5倍IQR范围内的最远观测值,超出须线的点单独标出,即为箱线图意义上的可疑离群点。

箱线图结构与 1.5×IQR 判定示意(示例数据) 10 14 18 22 26 30 指标数值(如含水率 %) 下须线 上须线 Q1 Q3 中位数 超出须线 可疑离群点 IQR = Q3 − Q1

二、正态分布与非正态分布对判定的影响

很多经典离群值判定规则隐含了正态性假设。以常用的3σ准则为例:若数据近似服从正态分布,则落在均值±3σ之外的观测概率约为0.27%,因此把超出±3σ的点视为异常是合理的。格拉布斯检验、狄克逊检验等也建立在正态或近似正态的假定之上。问题在于,岩土试验数据并不总是正态的:含水率、压缩模量、某些强度指标常呈右偏分布,即大部分值集中在较小一侧,少数大值把右尾拉长。此时均值和标准差本身已被长尾影响而偏大,直接用3σ判定会“放宽”阈值,把真正的异常值漏掉;反过来,若分布左偏或存在多个子总体混合,规则又可能把正常的高值误判为离群。

因此,判定前应先看分布形态。样本量较小时(岩土试验中常见n=6~20),可结合直方图、箱线图、正态概率图(Q-Q图)粗略判断;样本量足够时可用偏度、峰度或夏皮罗—威尔克检验辅助。若明显偏离正态,应优先采用不依赖分布假设的稳健方法:以中位数和IQR为基础的箱线图规则、以中位数绝对偏差MAD构造的稳健Z分数(|x−中位数|/MAD大于约3.5视为可疑),或直接采用分位数截尾。这些方法受极端值影响小,更适合偏态数据。

判断顺序建议:先看箱线图与直方图识别分布形态和可疑点,再决定用3σ/格拉布斯(近似正态)还是IQR/MAD(偏态或稳健需求)。不要跳过形态判断直接套公式。

三、一个可复算的示例

假设某土层12组含水率试验(示例数据,非实测):16.2、17.0、17.5、18.1、18.4、18.8、19.0、19.3、19.7、20.2、21.0、26.5(%)。排序后中位数约18.9,Q1约17.4,Q3约19.9,IQR≈2.5,上须线阈值Q3+1.5×IQR≈23.65,26.5明显超出,箱线图判为可疑离群点。若改用均值±3σ:均值约19.3,标准差约2.6,上限约27.1,26.5落在范围内,反而不会被判为异常。同一组数据、两种规则结论不同,根源正是26.5这个值把均值和标准差都抬高了,说明在偏态或含疑似异常值时,基于均值—标准差的规则不够稳健。

需要强调,统计判定只给出“可疑”信号,不等于直接剔除。发现可疑点后,应回到原始记录核查试验过程、取样扰动、仪器状态、数据录入等环节,结合专业判断决定保留、修正或剔除,并在成果中记录处理依据。统计工具的作用是把注意力集中到真正需要复核的点上,而不是替代工程判断。

工具主要作用对极端值的敏感性适用提示
均值、标准差集中位置与离散程度高近似正态、无明显异常值时使用
变异系数不同指标变异性横向比较高(随均值、标准差变化)比较前确认量纲与分布可比
分位数、IQR稳健描述分布与离散低偏态数据首选
箱线图可视化分布形态与可疑点低排查第一步,快速定位复核对象

把上述工具用对,离群值排查才有可靠的统计起点:先描述分布,再判断形态,最后选择与分布相匹配的判定规则,并对可疑点逐一回溯核查。