4. 数据质量校验规则设计

排污口在线监测数据在进入追溯流程之前,必须先经过一轮“可信性筛查”。如果一条COD值本身是仪表故障或采样异常造成的,后续再精细的溯源分析都会建立在错误前提上。数据质量校验规则的作用,就是把明显不可信的数据挡在分析入口之外,同时保留可解释的判定依据,为证据留存提供第一层支撑。本节围绕四类规则展开:物理范围校验、逻辑关系校验、变化率校验和物料衡算校验,并给出阈值设定方法与一个可落地的规则配置案例。

一、四类校验规则的分工

四类规则并非互相替代,而是从不同角度对同一条数据进行交叉验证。物理范围校验回答“这个值在现实中可能出现吗”;逻辑关系校验回答“同一时刻的多个参数是否自相矛盾”;变化率校验回答“这个跳变在工艺上说得通吗”;物料衡算校验回答“污染物总量与水量、浓度之间是否守恒”。一条数据只有同时通过与其相关的各类规则,才可标记为“有效”。

排污口数据质量校验规则体系与判定路径 在线监测原始数据 流量·COD·氨氮·pH·温度 ① 物理范围校验 pH 0~14,COD ≥ 0 流量 ≥ 0,量程上下限 ② 逻辑关系校验 流量=0 时浓度不应突变 pH 与碱度/加药量一致性 ③ 变化率校验 相邻时刻跳变幅度 滑动窗口内斜率/方差 ④ 物料衡算校验 浓度×流量 ≈ 负荷 进水/出水/去除量守恒 规则判定汇聚:逐条打分 → 综合标记 通过 / 可疑(需复核)/ 无效(剔除并留痕) 有效数据 进入追溯分析主流程 可疑数据 人工复核 + 标记原因 无效数据 剔除并留存原始值与规则ID 注:每条规则命中均记录规则编号、阈值、原始值与判定时间,作为证据链组成部分

二、物理范围校验:先划出“不可能区”

物理范围校验是最基础的一层,依据的是参数本身的物理意义和仪表量程。pH 的理论区间为 0~14,超出即为无效;COD、氨氮、总磷等浓度不可能为负值;流量在正常排放工况下不应为负(若存在潮汐倒灌或反冲洗回流,需在规则中单独定义允许的负向区间并注明工况)。此外,每台仪表都有量程上下限,例如某COD分析仪量程为 0~500 mg/L,当读数恰好等于 500 且持续多个周期时,应标记为“超量程可疑”,而不是直接当作真实高值使用。

阈值设定上,物理范围属于“硬边界”,应直接取物理极限或仪表量程,不随工况调整。但要注意区分“超量程”和“超排放标准”:前者是数据可信性问题,后者是合规性问题,二者不能混用同一套阈值。

三、逻辑关系校验:让参数之间互相作证

逻辑关系校验利用同一时刻不同参数之间的内在约束。典型规则包括:当瞬时流量为 0 且持续超过设定时长(如 3 个采样周期)时,浓度类参数应保持相对稳定或进入无效标记,若此时COD出现大幅跳变,则判定为逻辑冲突;pH 与加药系统状态、碱度之间应保持方向一致,例如加碱期间 pH 不升反降,需要标记复核;温度与部分光学/电极法仪表的补偿状态也应匹配。逻辑规则的价值在于,它能发现单个参数看似“在范围内”、但组合起来违背工艺常识的数据。

四、变化率校验:识别不合理的跳变

变化率校验关注时间维度。对相邻两个采样值计算变化量或变化速率,与阈值比较。阈值不宜拍脑袋,推荐用历史正常数据的分位数法确定:取该排污口过去 30 天有效数据的相邻变化量绝对值,计算其 99 分位数作为初设阈值,再结合工艺最大可能变化速率修正。例如某污水厂出水COD历史相邻变化量的 99 分位数为 18 mg/L,可将单步跳变阈值设为 20 mg/L;超过则标记可疑。对于高频数据,还可采用滑动窗口斜率或窗口内标准差,避免单点噪声误判。需注意,变化率阈值应分参数、分工况设定,雨季流量骤增时流量变化率阈值应适当放宽,否则会产生大量误报。

五、物料衡算校验:用守恒关系兜底

物料衡算校验从总量角度验证数据自洽性。最基本的形式是“浓度 × 流量 = 瞬时负荷”,检查三者记录是否同步、单位是否一致;更进一步,可用进水浓度、进水流量、出水浓度、出水流量与去除量构建平衡关系,允许一定的不确定度区间(如 ±10%)。当某时段出水负荷明显大于进水负荷输入,或去除率出现物理上不可能的负值,即触发衡算异常。衡算规则对发现“流量与浓度时间戳错位”“单位换算错误”这类系统性数据问题特别有效。

六、规则配置案例(示例参数,非实测)

以下为某排污口数据校验规则的配置示例,参数为教学假设值,实际应用需以本站历史数据和仪表说明书校准。

规则ID   类型        对象        判定条件                          命中处理
R-P01    物理范围    pH          值 < 0 或 > 14                  无效
R-P02    物理范围    COD         值 < 0 或 > 500(量程上限)       无效/超量程可疑
R-P03    物理范围    流量        值 < 0 且无倒灌工况标记            无效
R-L01    逻辑关系    流量+COD    流量=0 持续≥3周期 且 COD跳变>20   可疑
R-L02    逻辑关系    pH+加碱    加碱时段 pH 下降>0.5              可疑
R-C01    变化率      COD         相邻变化量 > 20 mg/L              可疑
R-C02    变化率      流量        相邻变化率 > 30%(非雨工况)       可疑
R-M01    物料衡算    负荷        出水负荷 > 进水负荷×1.1            可疑
R-M02    物料衡算    去除率      去除率 < 0 或 > 100%              可疑

配置完成后,应对历史数据做回放测试:统计各规则命中率,若某条规则命中率过高(如超过 5%),说明阈值过严或工况覆盖不足,需要调整;若长期零命中,则要检查规则是否真正生效。规则命中记录本身也是证据留存的一部分——每条被剔除或标记的数据,都应保留原始值、命中规则编号、阈值和判定时间,使后续追溯能够解释“为什么这条数据没被采用”。

阈值设定建议遵循“先分位数初设、再工况修正、最后回放验证”的路径,并将每次阈值调整作为版本记录留存,避免规则漂移导致历史数据判定口径不一致。