4. 常用离群值识别方法对比
岩土试验数据的一个显著特点是样本量小、离散性来源复杂:同一层土的三轴抗剪强度指标可能只有6~12组,岩石单轴抗压强度的有效试样常常不足10个,而含水率、密度这类指标虽然样本较多,却容易受取样扰动和制样差异影响。面对这样的数据,离群值识别方法的选择不能只看"哪种方法更常用",而要看样本量、分布假设、污染比例和工程判断需求四者是否匹配。本节系统比较六类常用方法,并给出在岩土数据中的选择策略。
六类方法的核心逻辑与适用边界
拉依达准则(3σ法)以均值和标准差为基准,将偏离均值超过3倍标准差的点判为离群值。它的前提是数据近似正态分布且样本量足够大(一般要求n≥30),因为均值和标准差本身对离群值敏感——一个极端值会同时抬高均值和标准差,产生"掩蔽效应",使真正的离群值反而落在3σ以内。在岩土试验中,它更适合含水率、颗粒分析等样本量较大的指标,不适合直接用于只有几个数据点的强度指标。
格拉布斯准则(Grubbs)针对小样本设计,通过计算最大偏差与标准差的比值G,再与临界值表比较。它一次只检验一个离群值,适用于n在3~30之间、数据近似正态的情形。格拉布斯准则的检验功效较高,但同样受均值和标准差污染的影响,且一次剔除一个后需要重新计算,不能一次性剔除多个。对于三轴试验得到的c、φ值这类小样本数据,格拉布斯是较稳妥的选择。
狄克逊准则(Dixon)基于排序后相邻数据的极差比值构造统计量,不依赖均值和标准差,因此对极端值不敏感,特别适合n≤25的小样本。它分为单侧和双侧检验,可根据怀疑方向选择。狄克逊准则的局限在于对中间部位的异常不敏感,且不同样本量对应不同统计量公式,使用时必须查对正确的临界值表。
箱线图法(Tukey法)以四分位数和四分位距IQR为基础,将小于Q1−1.5IQR或大于Q3+1.5IQR的点标为离群值,超过3IQR的标为极端离群值。它不假设正态分布,对偏态数据稳健,且能直观展示数据分布形态。缺点是四分位数在小样本下估计不稳定,n<8时IQR可能失真,且1.5倍IQR是经验系数,对岩土数据是否合适需要结合指标特性判断。
MAD法(中位数绝对偏差)用中位数代替均值、用MAD代替标准差,构造稳健Z分数:MAD-Z = 0.6745×(x−中位数)/MAD。由于中位数和MAD的崩溃点高达50%,即使数据中有近一半被污染,估计仍然可靠。它特别适合存在多个离群值或分布偏斜的情形,是岩土数据中推荐优先考虑的方法之一。常用判定阈值为|MAD-Z|>3.5,也可根据数据特点调整为2.5~3.5。
Z分数法是最基础的标准化方法,Z=(x−均值)/标准差,通常以|Z|>3为界。它本质上是拉依达准则的标准化表达,适用条件相同,优点是便于多指标间横向比较,缺点同样是对离群值敏感、依赖正态假设。
岩土数据中的选择策略
把上述方法放到岩土试验的实际场景中,可以按"指标类型—样本量—分布形态"三步走。第一步看指标:强度与变形指标(c、φ、Es、Rc)通常样本少、离散大,优先用狄克逊或格拉布斯;物理性质指标(含水率w、密度ρ、孔隙比e)样本较多,可用MAD法或箱线图法,必要时用3σ作辅助核对。第二步看样本量:n≤10时狄克逊最合适,10<n≤25时狄克逊与格拉布斯并用,n>25时可引入箱线图和MAD,n>50且分布近似正态时才考虑拉依达准则。第三步看分布:先做直方图或正态概率图,明显偏态的数据不要用3σ和Z分数,改用箱线图或MAD。
需要强调的是,任何单一方法都不应作为最终判据。工程实践中推荐"双法互验":例如对某层粉质黏土的12组直剪试验黏聚力c值,先用狄克逊准则双侧检验找出可疑点,再用格拉布斯准则复核;若两法结论一致,剔除把握较大;若不一致,应回到原始试验记录核查是否存在制样缺陷、仪器异常或记录错误,而不是简单按某一方法剔除。对于MAD法,建议同时报告原始Z分数和MAD-Z分数,两者差异大的点往往正是需要重点复核的对象。
方法对比速查表
| 方法 | 核心统计量 | 适用样本量 | 分布假设 | 主要优点 | 主要局限 |
|---|---|---|---|---|---|
| 拉依达(3σ) | 均值、标准差 | n≥30 | 近似正态 | 计算简单、直观 | 受极端值掩蔽,小样本不可靠 |
| 格拉布斯 | G=(x−x̄)/s | 3≤n≤30 | 近似正态 | 小样本功效高、有临界值表 | 一次剔一个,仍依赖均值方差 |
| 狄克逊 | 极差比值 | n≤25 | 无严格要求 | 不依赖均值方差,抗极端值 | 对中间异常不敏感,公式随n变化 |
| 箱线图 | Q1、Q3、IQR | n≥8 | 无 | 稳健、可视化好、适合偏态 | 小样本四分位数不稳,系数为经验值 |
| MAD法 | 中位数、MAD | n≥8 | 无 | 崩溃点高,适合多离群值 | 阈值需结合指标调整,计算稍繁 |
| Z分数 | (x−x̄)/s | n≥30 | 近似正态 | 便于多指标横向比较 | 与3σ同源,同样受掩蔽影响 |
最后要提醒的是,离群值识别是统计筛查,不是工程裁决。岩土参数的最终取值还要结合地层成因、取样深度、试验方法与工程经验综合判断。统计方法帮我们把"值得怀疑的点"挑出来,是否剔除、剔除后如何修正统计量,仍需要岩土工程师依据专业判断作出决定,并在报告中如实记录处理过程与依据。