4. 分项用能数据清洗与预处理

分项用能数据在进入能耗结构分析之前,几乎不可能“拿来即用”。计量表计通信中断、采集器时钟漂移、人工抄录错位、单位混用、量纲不一致,都会让后续的占比计算和趋势判断失真。数据清洗与预处理的目标不是把数据“修饰得好看”,而是让每一行分项数据在时间、单位、量纲和物理合理性上都可信,从而保证能耗结构识别结论站得住脚。本节围绕异常值识别、缺失值处理、数据对齐与单位统一四个环节展开,并以一个案例工厂的原始分项数据完成一次清洗实战。

一、先明确数据对象与清洗边界

案例工厂为某机械加工车间,分项计量覆盖总进线、空压站、制冷站、照明插座、生产设备(三条产线)和办公区。原始数据来自两类来源:一类是电表经采集器上传的15分钟间隔有功电量(单位kWh),另一类是人工每月抄录的蒸汽流量(单位t)与天然气用量(单位m³)。两类数据的时间粒度、单位、采集可靠性差异明显,这正是清洗要解决的核心矛盾。

清洗前需要先划定边界:只处理与分项能耗结构分析相关的字段,包括时间戳、分项名称、用能量、单位、数据来源标记;对于与能耗结构无关的设备状态字、报警码等字段,不在本节处理范围内。同时要保留原始数据副本,所有清洗动作以新增列或新表的方式记录,确保可追溯。

二、异常值识别:先定规则,再判真伪

异常值不等于错误值。分项用能中常见的异常有三类:一是物理不可能值,如电量为负、单间隔电量超过该分项额定功率对应的理论上限;二是统计离群值,如某分项日电量显著偏离历史分布;三是逻辑矛盾值,如总进线电量小于各分项之和。识别时应先做物理规则筛查,再做统计筛查,最后做逻辑校验。

以空压站15分钟电量为例,其额定功率约120 kW,则单个15分钟间隔的理论上限约为120×0.25=30 kWh。若某条记录为86 kWh,明显超过上限,应标记为疑似异常。统计筛查可采用箱线图法则:对某分项近30天同一时段的电量计算四分位距IQR,超出Q3+1.5×IQR或低于Q1−1.5×IQR的记录标记为离群。逻辑校验则检查“总进线≥各分项之和”是否成立,不成立时优先怀疑分项漏计或总表倍率错误。

异常值不能一律删除。表计故障导致的异常应修正或置为缺失;而真实的生产班次调整、设备启停造成的短时高值,属于正常工况,应保留并在分析中说明。判断依据是设备运行记录、班次表和现场核实结果。

三、缺失值处理:区分缺失机制再选方法

缺失值处理的关键是判断缺失机制。案例数据中,制冷站有连续6个15分钟间隔无数据,属于采集器通信中断造成的连续缺失;照明插座偶发单点缺失,属于采集丢包;蒸汽流量按月抄录,若某月漏抄则属于整段缺失。不同机制对应不同处理策略。

对于短时单点缺失,可采用线性插值,即用前后两个有效值按时间比例补全;对于连续缺失但时长不超过2小时的情况,可用同日同时段的历史均值填补,并在数据来源列标注“插补”;对于超过2小时的长段缺失,不宜强行插值,应置为缺失并在日汇总时按有效时长折算,避免把缺失当成零耗能。整月缺失的蒸汽数据,若无法补抄,应在月度结构分析中标注该分项数据不完整,不参与占比计算。

示例:制冷站某日 10:00—11:30 连续缺失(6个间隔)
处理方式:标记为“长段缺失”,不插值
日电量汇总 = 当日有效间隔电量之和 × (96 / 有效间隔数)
说明:该折算仅用于趋势参考,不用于精确占比

四、数据对齐与单位统一

数据对齐包含两层:时间对齐和口径对齐。时间对齐要求所有分项统一到同一时间基准,案例中电表为15分钟间隔,蒸汽和天然气为月度数据,需先将电表数据聚合为日、月粒度,再与月度燃料数据对齐。聚合时应使用“求和”而非“平均”,且只对有效间隔求和。口径对齐要求分项边界一致,例如“生产设备”是否包含产线照明,必须在清洗阶段明确并统一,否则分项之和与总进线无法闭合。

单位统一方面,电力统一为kWh,蒸汽统一为t,天然气统一为m³,若后续需要综合能耗对比,再按折标煤系数换算为tce。换算系数必须来自企业能源统计口径并注明来源,不得在图中隐去。案例中曾出现天然气一处按“立方米”、一处按“标准立方米”记录,清洗时统一为m³并保留换算说明。

分项用能数据清洗流程与案例数据状态 原始分项数据 电表15min / 蒸汽月 / 气月 异常值识别 物理上限 / IQR / 逻辑校验 缺失值处理 插值 / 历史均值 / 置缺失 对齐与统一 时间 / 口径 / 单位 案例数据状态(示例) 空压站 86 kWh 超上限 → 标记异常 制冷站连续6间隔缺失 长段缺失 → 不插值 照明单点缺失 线性插值 → 标注来源 天然气单位混用 统一为 m³ 并注明 清洗后校验:分项之和与总进线闭合 总进线日电量 12 480 kWh 各分项有效值之和 12 310 kWh 偏差率 1.36% → 可接受

五、案例工厂清洗实战与结果判断

按上述规则对案例工厂某日数据执行清洗:空压站一条86 kWh记录超过物理上限,经核对为采集器倍率误设,按正确倍率修正为8.6 kWh并记录修正日志;制冷站10:00—11:30连续6个间隔缺失,标记为长段缺失,日汇总按有效间隔折算;照明插座两处单点缺失采用线性插值并标注“插补”;天然气单位统一为m³。清洗后各分项有效值之和为12 310 kWh,总进线为12 480 kWh,偏差率约1.36%,在可接受范围内,说明分项边界基本闭合。

需要强调的是,偏差率可接受阈值应结合企业计量精度和分项完整度设定,案例中取2%仅为示例假设,并非通用标准。若偏差率持续偏大,应优先排查是否存在未计量的分项、总表倍率错误或分项口径重叠,而不是继续在数据上做“平滑”。清洗完成后,应输出一份数据质量记录,至少包含异常记录数、修正方式、缺失段时长、插补方法和闭合偏差率,作为后续能耗结构分析的输入依据。

清洗的最终判断标准不是“数据看起来整齐”,而是三条:物理上合理、时间与口径一致、分项与总量可闭合。三条同时满足,数据才具备进入能耗结构识别环节的资格。