4. 数据质量诊断与预处理
在环保设备能耗与处理负荷的关联分析中，数据质量往往比模型算法更决定结论的可信度。现场采集到的数据通常来自电表、流量计、PLC、在线监测仪和人工台账，采样频率不同、时钟不同步、传感器漂移和通信中断都会让原始数据"看起来有数、实际不可用"。本节围绕四类高频问题——缺失值、异常值、噪声与时间对齐——讲清如何识别、如何判断成因、以及在不同场景下应选择什么处理策略，并给出可复用的判断依据。
一、先诊断再处理：四类问题的识别信号
数据质量诊断的第一步不是急着填补或删除，而是先判断问题属于哪一类，因为不同成因对应完全不同的处理方式。缺失值表现为时间戳存在但数值为空，或整段时间戳缺失；异常值表现为数值明显偏离设备物理合理区间，如曝气风机功率出现负值、瞬时流量超过设计值数倍；噪声表现为数值在合理范围内但高频抖动，相邻点差异远大于工艺实际变化速率；时间对齐问题则表现为两条序列在时间轴上错位，例如电表按整点上报、流量计按5分钟上报，直接按行合并会把不同时刻的数据强行配对。
一个实用的诊断顺序是：先看时间戳的完整性与间隔分布，再看数值的物理边界，再看变化率，最后看多源序列的相位关系。下面这张图给出了四类问题的典型信号与对应处理路径，可作为诊断时的对照参考。
二、缺失值：区分"短缺口"与"长断档"
缺失值处理的关键是判断缺口长度与缺失机制。对于采样间隔为15分钟的数据，若连续缺失点不超过3个（约45分钟），且前后数值变化平缓，可采用线性插值或前向填充；若缺失跨越数小时甚至数天，说明可能是通信中断或设备停机，此时插值会凭空制造数据，正确做法是将该时段标记为无效并从关联分析中剔除。判断阈值应结合工艺响应时间设定：曝气系统的溶解氧变化较慢，短缺口插值风险较低；而瞬时流量波动快，插值容易失真。
需要特别提醒的是，不要用全局均值填充能耗或负荷序列。均值填充会压缩方差，直接削弱能耗与负荷之间的相关性强度，使后续回归系数偏小。若必须填充，应优先使用同工况同时段的历史中位数，并在数据表中增加"是否填充"标志列，便于后续敏感性分析。
三、异常值：先判成因，再决定去留
异常值不等于错误值。环保设备数据中的高值可能对应真实的负荷冲击（如进水浓度突增导致风机加频），低值可能对应设备停机检修。因此识别异常值应分两步：第一步用物理边界做硬性筛查，例如风机功率不可能为负、瞬时流量不应超过设计值的1.2倍、COD在线值不应长期恒定不变（卡死信号）；第二步用统计方法做软性筛查，常用3σ准则或四分位距IQR准则，对超出Q3+1.5×IQR或低于Q1−1.5×IQR的点标记为疑似异常。
标记之后要结合时间邻域判断：若异常点孤立出现且前后迅速恢复，多为传感器毛刺，可置空后按缺失值处理；若异常点持续多个采样周期并伴随其他参数同步变化，则可能是真实工况，应保留。切忌直接把异常值替换为均值或截断到边界值，这会掩盖设备故障信息，也会扭曲能耗与负荷的真实关系。
四、噪声：滤波窗口要与工艺响应时间匹配
噪声处理的目标是保留工艺趋势、抑制高频抖动。常用方法包括滑动平均、滑动中值和一阶低通滤波。滑动中值对孤立毛刺更稳健，适合去除尖峰；滑动平均平滑效果更强，但会滞后并削平峰值。窗口长度的选择原则是：窗口时长应小于工艺关注的最短变化周期。例如关注曝气风机随进水负荷的日内变化，窗口可取30～60分钟；若窗口取到数小时，负荷高峰会被明显削平，能耗—负荷斜率被低估。
实操中可先对同一序列用不同窗口试算，观察峰值保留率与平滑程度，再确定窗口。对能耗累计量（如电表读数）则不应直接滤波，而应先差分得到功率序列再处理，否则累计量的单调性会被破坏。
五、时间对齐：统一粒度是关联分析的前提
多源数据时间对齐是最容易被忽视、后果却最严重的问题。电表可能每15分钟上报一次累计电量，流量计每5分钟上报瞬时流量，PLC每1分钟记录设备状态。若直接按行合并，会把不同时刻的能耗与负荷强行配对，导致相关系数失真。正确做法是先确定分析粒度（通常取较粗的15分钟或1小时），再将各序列重采样到统一时间轴：累计电量取时段差分得到时段能耗，瞬时流量取时段均值，设备状态取时段内运行时长占比。
此外还要检查时钟偏移。现场常见PLC时钟与服务器相差数分钟，表现为两条序列在时间轴上整体平移。可通过互相关分析寻找使两序列相关性最大的滞后量，若滞后稳定且与采样周期不成整数倍，应优先校正时钟而非简单平移数据。对齐完成后再计算能耗与负荷的相关系数或回归斜率，结论才具备可比性。
六、处理策略的落地检查
为保证处理过程可追溯，建议在数据表中保留原始值、处理后值和处理标志三列，处理标志用统一编码记录（如0原始、1插值、2置空、3滤波、4剔除）。每次处理前后统计缺失率、异常点数量和序列方差变化，若滤波后方差下降超过预期或相关性显著改变，应回查窗口与阈值设置。只有把诊断依据、处理方法和影响评估同时记录下来，能耗与处理负荷的关联结论才经得起复核。