4. 统计基线异常检测方法

土壤湿度是农业物联网中最常见、也最容易被异常值污染的一类时序数据。传感器探头接触不良、灌溉后短时积水、供电电压跌落、无线丢包后的插值填充，都可能让某几个采样点突然偏离正常水平。统计基线方法的核心思想很朴素：先用一段被认为“正常”的历史数据刻画数据的中心位置与离散程度，再把新样本与这个基线比较，偏离超过阈值就判为异常。本节围绕3σ准则、箱线图法和Z-score三种方法，讲清它们的计算方式、在土壤湿度数据上的实现细节，以及如何用误报率来评价它们是否可用。

三种方法的判定逻辑与差异

3σ准则假设数据近似服从正态分布，以均值μ为中心、标准差σ为尺度，把落在[μ−3σ, μ+3σ]之外的样本判为异常。它的实现最简单，但对均值和标准差本身非常敏感——如果基线数据里已经混入了极端值，μ和σ都会被拉偏，阈值随之失真。Z-score方法本质上是3σ准则的标准化表达：对每个样本计算 z=(x−μ)/σ，再与阈值比较，通常取|z|>3，也可以根据业务容忍度取2.5或2。它的好处是不同量纲的指标可以统一比较，也便于把多个传感器的偏离程度放在同一尺度上看。

箱线图法不依赖正态假设，它用四分位数构造基线：Q1为下四分位数，Q3为上四分位数，IQR=Q3−Q1，正常区间取[Q1−1.5×IQR, Q3+1.5×IQR]，超出者判为异常。由于四分位数只由数据的排序位置决定，少量极端值不会明显改变Q1和Q3，因此箱线图法对离群点更稳健，特别适合土壤湿度这种受灌溉、降雨影响而分布偏斜的数据。三种方法的关系可以用下图概括：它们共享“建立基线—计算偏离—阈值判定”的骨架，差别在于基线的统计量和阈值的构造方式。

在土壤湿度数据上的实现

假设某温室部署了一支土壤湿度传感器，量程0～100%，每10分钟上报一次。我们取连续7天、共1008条记录作为基线数据，并假定其中已人工确认存在少量异常点。实现时先做数据清洗：剔除空值、剔除因通信中断产生的重复时间戳，再按时间排序。下面用Python给出三种方法的核心计算，示例参数与结果均为教学假设，实际运行需以真实数据为准。

import numpy as np

# 假设 baseline 为已清洗的基线土壤湿度序列（单位：%）
mu, sigma = baseline.mean(), baseline.std(ddof=1)
q1, q3 = np.percentile(baseline, [25, 75])
iqr = q3 - q1
lower_box, upper_box = q1 - 1.5 * iqr, q3 + 1.5 * iqr

def detect_3sigma(x):
    return x < mu - 3 * sigma or x > mu + 3 * sigma

def detect_zscore(x, thr=3.0):
    return abs((x - mu) / sigma) > thr

def detect_box(x):
    return x < lower_box or x > upper_box

需要特别注意的是，土壤湿度存在明显的昼夜与灌溉周期，直接用全天数据算一个全局μ和σ，会把“灌溉后偏高”误判为异常。更合理的做法是按时间段或按灌溉周期分组建立基线，例如把每天划分为灌溉前、灌溉中、灌溉后三个时段，各自计算统计量；或者对原始序列先做滑动窗口中位数滤波，再在残差上应用统计判定。这一步直接决定误报率的高低，往往比换用哪种判定公式更重要。

误报率的计算与评估

误报率（False Positive Rate）指正常样本被误判为异常的比例。评估时需要一份带标签的验证集：把已知正常的样本和已知异常的样本分开，分别统计。设正常样本总数为N，被判为异常的正常样本数为FP，则误报率=FP/N；同时可统计漏报率=FN/A，A为异常样本总数。只看误报率会诱导我们把阈值放得很宽，从而大量漏报，因此两者要一起看。

表中数值为教学示例，用于说明量级关系，不代表任何真实设备或数据集的实测结果。实际评估时，建议把验证集按时间切分，用前段建基线、后段做验证，避免用同一批数据既建基线又评估，导致误报率被低估。若发现误报集中在灌溉后时段，应优先考虑分组基线或引入变化率特征，而不是一味放宽阈值。

最后要强调，统计基线方法检测的是“相对历史基线的偏离”，它无法区分“真实异常”和“环境真实变化”。因此误报率评估必须结合业务场景：灌溉导致的湿度上升是正常变化，不应计入误报；而传感器故障导致的跳变才是真正要抓的异常。把这一层业务判断纳入标签体系，误报率指标才有实际指导意义。