2. 污染物浓度数据特征与预处理

在污染物浓度异常识别中，很多误判并非来自检验方法本身，而是来自对数据特征的忽视。环境监测数据往往同时具有右偏分布、检出限截断、缺失、时间不等间隔和空间坐标不统一等问题。如果直接把这些原始数据送入统计检验，均值和方差会被极端值拉偏，缺失会造成样本量骤减，时空错位则可能把不同时段、不同点位的浓度误当作同一对象比较。因此，本节围绕四个环节展开：认识分布特性、处理缺失值、初步筛查异常值、完成标准化与时空对齐。

一、浓度数据的分布特性

污染物浓度通常呈明显右偏：多数观测值集中在较低区间，少数高值把分布尾部拉长。以某监测点PM2.5日均浓度为例（以下为教学示例数据），全年约70%的日浓度落在20～60 μg/m³，但少数重污染日可达150 μg/m³以上。此时算术均值会被高值抬高，若用“均值±2倍标准差”作为异常阈值，标准差本身已被极端值放大，反而可能漏掉真正的高值。更稳妥的做法是先看分布形态：绘制直方图或核密度曲线，计算偏度与峰度；对右偏明显的数据，可考虑对数变换 ln(x+1) 后再做参数检验，或直接采用基于分位数的稳健方法。

另一类特征是检出限截断。当浓度低于方法检出限时，记录常为“未检出”或替换为检出限的一半。这类数据在低浓度端被压缩，分布形态失真。处理时应明确标记未检出比例：若未检出比例低于15%，可用检出限的一半替代并在报告中说明；若比例较高，则应采用生存分析或专门的有序回归方法，而不宜简单删除。

二、缺失值处理

缺失机制决定了处理方式。完全随机缺失（如仪器偶发故障）可用均值、中位数或插值填补；随机缺失（与浓度水平相关）宜用多重插补或回归插补；非随机缺失（如高浓度时段设备停机）则不能简单填补，应作为数据质量问题单独说明。实践中可按以下顺序判断：先统计各点位、各时段的缺失率；缺失率低于5%且为短时断档，用线性插值；缺失率5%～20%，用同一时段相邻点位的中位数或K近邻插补；缺失率超过30%的序列，建议不参与该时段的统计检验，避免插补引入虚假结构。

示例：某点位连续6小时缺失，前后有效值为 42、45 μg/m³
线性插值：第1小时 42+(45-42)/7≈42.4，逐时递增至44.6
判断依据：断档时长≤6h、缺失率<5%，采用线性插值并标记来源

三、异常值初步筛查

初步筛查的目标是区分“数据错误”和“真实高值”，而不是把所有离群点一律删除。常用手段包括：箱线图法则（超出Q1−1.5IQR或Q3+1.5IQR）、稳健Z分数（基于中位数和MAD）、以及物理合理性检查（负值、超过仪器量程、浓度突变超过相邻时段数倍且无气象事件支撑）。筛查结果应分级：确认为记录错误的直接修正或置为缺失；疑似真实污染过程的高值保留并标注；无法判断的进入人工复核清单。

四、数据标准化与时空对齐

标准化解决量纲与尺度差异。当同一分析中同时使用PM2.5浓度、风速、温度等变量时，Z分数标准化（减去均值除以标准差）最常用；但若数据右偏严重，先做对数变换再标准化更合理。需要强调的是，标准化参数（均值、标准差）必须只用训练期或基准期数据估计，再应用到检验期，否则会造成信息泄漏，使异常检验结果偏乐观。

时空对齐包含两层。时间上，不同仪器采样间隔可能为1小时、24小时或不等间隔，应统一重采样到同一时间分辨率，并明确聚合规则：浓度取时段均值，降水取累计值，风向不能取算术平均而应做矢量平均。空间上，点位坐标需统一到同一坐标系（如CGCS2000或WGS84），跨点位比较前应确认监测高度、周边环境类别一致；若点位间距较大，还应考虑用反距离权重或克里金插值生成可比网格，但插值结果只能用于空间趋势分析，不宜替代原始点位参与点位级检验。

完成上述步骤后，数据集应附带质量标记字段（如“原始/插补/修正/复核”），并保留处理日志。这样在后续统计检验中一旦出现可疑结论，可以快速回溯到具体记录，判断问题出在数据端还是方法端。