4. 数据质量校验规则设计
排污口在线监测数据在进入追溯流程之前,必须先经过一轮“可信性筛查”。如果一条COD值本身是仪表故障或采样异常造成的,后续再精细的溯源分析都会建立在错误前提上。数据质量校验规则的作用,就是把明显不可信的数据挡在分析入口之外,同时保留可解释的判定依据,为证据留存提供第一层支撑。本节围绕四类规则展开:物理范围校验、逻辑关系校验、变化率校验和物料衡算校验,并给出阈值设定方法与一个可落地的规则配置案例。
一、四类校验规则的分工
四类规则并非互相替代,而是从不同角度对同一条数据进行交叉验证。物理范围校验回答“这个值在现实中可能出现吗”;逻辑关系校验回答“同一时刻的多个参数是否自相矛盾”;变化率校验回答“这个跳变在工艺上说得通吗”;物料衡算校验回答“污染物总量与水量、浓度之间是否守恒”。一条数据只有同时通过与其相关的各类规则,才可标记为“有效”。
二、物理范围校验:先划出“不可能区”
物理范围校验是最基础的一层,依据的是参数本身的物理意义和仪表量程。pH 的理论区间为 0~14,超出即为无效;COD、氨氮、总磷等浓度不可能为负值;流量在正常排放工况下不应为负(若存在潮汐倒灌或反冲洗回流,需在规则中单独定义允许的负向区间并注明工况)。此外,每台仪表都有量程上下限,例如某COD分析仪量程为 0~500 mg/L,当读数恰好等于 500 且持续多个周期时,应标记为“超量程可疑”,而不是直接当作真实高值使用。
阈值设定上,物理范围属于“硬边界”,应直接取物理极限或仪表量程,不随工况调整。但要注意区分“超量程”和“超排放标准”:前者是数据可信性问题,后者是合规性问题,二者不能混用同一套阈值。
三、逻辑关系校验:让参数之间互相作证
逻辑关系校验利用同一时刻不同参数之间的内在约束。典型规则包括:当瞬时流量为 0 且持续超过设定时长(如 3 个采样周期)时,浓度类参数应保持相对稳定或进入无效标记,若此时COD出现大幅跳变,则判定为逻辑冲突;pH 与加药系统状态、碱度之间应保持方向一致,例如加碱期间 pH 不升反降,需要标记复核;温度与部分光学/电极法仪表的补偿状态也应匹配。逻辑规则的价值在于,它能发现单个参数看似“在范围内”、但组合起来违背工艺常识的数据。
四、变化率校验:识别不合理的跳变
变化率校验关注时间维度。对相邻两个采样值计算变化量或变化速率,与阈值比较。阈值不宜拍脑袋,推荐用历史正常数据的分位数法确定:取该排污口过去 30 天有效数据的相邻变化量绝对值,计算其 99 分位数作为初设阈值,再结合工艺最大可能变化速率修正。例如某污水厂出水COD历史相邻变化量的 99 分位数为 18 mg/L,可将单步跳变阈值设为 20 mg/L;超过则标记可疑。对于高频数据,还可采用滑动窗口斜率或窗口内标准差,避免单点噪声误判。需注意,变化率阈值应分参数、分工况设定,雨季流量骤增时流量变化率阈值应适当放宽,否则会产生大量误报。
五、物料衡算校验:用守恒关系兜底
物料衡算校验从总量角度验证数据自洽性。最基本的形式是“浓度 × 流量 = 瞬时负荷”,检查三者记录是否同步、单位是否一致;更进一步,可用进水浓度、进水流量、出水浓度、出水流量与去除量构建平衡关系,允许一定的不确定度区间(如 ±10%)。当某时段出水负荷明显大于进水负荷输入,或去除率出现物理上不可能的负值,即触发衡算异常。衡算规则对发现“流量与浓度时间戳错位”“单位换算错误”这类系统性数据问题特别有效。
六、规则配置案例(示例参数,非实测)
以下为某排污口数据校验规则的配置示例,参数为教学假设值,实际应用需以本站历史数据和仪表说明书校准。
规则ID 类型 对象 判定条件 命中处理
R-P01 物理范围 pH 值 < 0 或 > 14 无效
R-P02 物理范围 COD 值 < 0 或 > 500(量程上限) 无效/超量程可疑
R-P03 物理范围 流量 值 < 0 且无倒灌工况标记 无效
R-L01 逻辑关系 流量+COD 流量=0 持续≥3周期 且 COD跳变>20 可疑
R-L02 逻辑关系 pH+加碱 加碱时段 pH 下降>0.5 可疑
R-C01 变化率 COD 相邻变化量 > 20 mg/L 可疑
R-C02 变化率 流量 相邻变化率 > 30%(非雨工况) 可疑
R-M01 物料衡算 负荷 出水负荷 > 进水负荷×1.1 可疑
R-M02 物料衡算 去除率 去除率 < 0 或 > 100% 可疑
配置完成后,应对历史数据做回放测试:统计各规则命中率,若某条规则命中率过高(如超过 5%),说明阈值过严或工况覆盖不足,需要调整;若长期零命中,则要检查规则是否真正生效。规则命中记录本身也是证据留存的一部分——每条被剔除或标记的数据,都应保留原始值、命中规则编号、阈值和判定时间,使后续追溯能够解释“为什么这条数据没被采用”。