4. 基于统计学的异常值识别方法

农业传感器长期部署在田间，数据中混杂着电磁干扰、探头污损、供电波动、通信丢包等引起的异常值。统计学方法的核心思路是：假设正常数据服从某种分布（多数场景近似正态），偏离分布主体过远的观测值即判为异常。本节围绕五种常用方法展开，重点说明各自的判定逻辑、适用条件，以及在农业传感器数据中的参数选择。

3σ准则：最直观的阈值法

3σ准则假设数据近似正态分布，计算均值 μ 与标准差 σ，将落在 [μ−3σ, μ+3σ] 之外的样本判为异常。以某温室温度传感器一天 288 条（5 分钟间隔）数据为例，若 μ=24.6 ℃、σ=1.8 ℃，则阈值区间为 [19.2, 30.0] ℃，一条 33.5 ℃ 的记录会被标记。该方法的优点是计算量极小、可在线滚动执行；缺点是均值和标准差本身会被异常值“拉偏”，且要求分布近似对称。农业数据中昼夜温差大、灌溉事件造成阶跃，直接对全天数据套用 3σ 容易误判。实践中建议按滑动窗口（如 1 小时）分段计算，或先做差分再判定。

箱线图法：基于分位数的稳健方案

箱线图法不依赖均值和标准差，而用四分位数构造判定边界：下界 Q1−k·IQR，上界 Q3+k·IQR，其中 IQR=Q3−Q1。k 通常取 1.5（温和异常）或 3.0（极端异常）。由于分位数对少量异常不敏感，该方法在农业场景中稳健性明显优于 3σ。例如土壤含水率数据 Q1=18.2%、Q3=26.4%，IQR=8.2%，取 k=1.5 得上界 38.7%，一条 45% 的记录判为异常——这往往对应传感器被水浸泡或标定漂移。箱线图法适合偏态分布和含阶跃的数据，但需注意：当异常比例超过约 25% 时，分位数本身也会失真。

Grubbs检验：逐个剔除的统计检验

Grubbs 检验用于在给定显著性水平 α 下判断“是否存在一个”离群点。对样本计算统计量 G=max|xᵢ−x̄|/s，与临界值 G_crit(α, n) 比较，超过则剔除该点并重复检验。它比 3σ 更严谨，给出了明确的显著性水平，适合离线质检或标定数据清洗。局限在于：每次只能检出一个异常，且同样依赖均值与标准差，对多个异常或强偏态数据效果下降；样本量 n 过小（如 n<7）时检验功效不足。

Z-score方法：标准化偏离度

Z-score 将每个观测标准化为 z=(x−μ)/σ，|z|>3 判为异常。它与 3σ 本质等价，但以“偏离几个标准差”表达，便于跨传感器、跨量纲比较。例如同一地块的空气温度与土壤温度量纲相同但波动幅度不同，用 Z-score 可统一设定阈值。改进做法是采用中位数与 MAD（中位数绝对偏差）构造稳健 Z-score：z=(x−median)/(1.4826·MAD)，可显著降低异常值对阈值的污染，在农业长序列中推荐优先使用。

适用条件与局限性对照

四种方法并非互斥，而是适用面不同。3σ 与 Z-score 计算简单、可流式计算，但前提是分布近似正态且异常占比低；箱线图法对偏态稳健，适合土壤含水率、光照强度这类右偏数据；Grubbs 检验统计意义明确，适合标定数据、实验数据的离线清洗。共同局限是：它们都只从“数值偏离”角度判定，无法识别持续偏移（如传感器缓慢漂移）或物理上合理但语义错误的记录（如温度 25 ℃ 却出现在凌晨灌溉后）。因此统计学方法通常作为第一道过滤，后续还需结合物理量程、变化率约束和业务规则复核。

农业传感器中的参数选择实践

参数选择要贴合农业数据的节律特征。第一，窗口长度：温度、湿度建议 1 小时滑动窗口（约 12 条 5 分钟记录），既覆盖短时干扰又保留昼夜趋势；土壤含水率变化慢，可用 6 小时窗口。第二，阈值系数：在线筛查用 3σ 或 |z|>3；离线质检用箱线图 k=1.5 标记温和异常、k=3.0 标记极端异常，避免一刀切。第三，稳健化处理：长序列优先用中位数与 MAD 构造稳健 Z-score，阈值取 3.5，可显著减少异常值对边界的污染。第四，异常比例控制：若某窗口异常占比超过 25%，说明分位数或标准差已不可信，应改用差分序列或直接标记该窗口为“数据质量可疑”。

综上，3σ 与 Z-score 适合快速在线筛查，箱线图法适合稳健的批量清洗，Grubbs 检验适合小样本离线质检。参数选择的关键不在公式本身，而在于窗口长度、阈值系数与稳健化策略是否匹配农业数据的节律与异常比例，并始终保留人工复核环节。