1. 课程导入与数据有效性总览

在线监测系统每天产生海量数据，但“有数据”不等于“数据可用”。一条COD在线监测记录，可能因为仪表校准、试剂耗尽、采水异常、通信中断或质控不合格而失去代表性。如果这些记录不加区分地进入统计、报表和执法判断，就会把“无效”误当成“达标”或“超标”，造成结论偏差。本课程围绕两个核心问题展开：如何给每条数据打上正确的有效性标识，以及缺失或无效数据出现后如何规范处理。

在线监测数据的基本特征

与实验室手工监测相比，在线监测数据具有几个鲜明特征，这些特征直接决定了有效性判断的复杂度。

• 高频连续：通常以分钟或小时为周期自动采集，一天可产生数十至上千条记录，人工逐条审核不现实，必须依靠规则和标识体系。
• 自动生成、无人值守：数据由采集传输仪自动上报，现场可能无人，异常往往在事后才被发现，因此标识需要可追溯、可回填。
• 受工况与仪表状态双重影响：生产停运、治污设施启停、仪表故障、校准维护都会改变数据含义，同一数值在不同状态下有效性不同。
• 带时间戳与状态字段：每条记录通常包含监测时间、监测值、仪表状态、质控标志等，有效性标识正是依附于这些字段之上的判断结果。

可以把一条在线监测记录理解为“数值 + 时间 + 状态”的三元组。数值本身没有独立意义，只有结合时间点和仪表/工况状态，才能判断它是否代表真实排放水平。这也是有效性标识存在的根本原因。

有效性标识与缺失处理的业务意义

有效性标识是对每条数据“能否用于统计与评价”的显式声明。常见做法是用不同标识区分：正常有效、仪表维护、校准、故障、停运、质控不合格、通信异常等。标识的价值体现在三个层面：

数据层面，它让原始数据与可用数据分离，避免无效值污染均值、总量和达标率计算；管理层面，它使异常可归因，运维人员能据此定位是仪表问题、工况问题还是传输问题；合规层面，它提供了数据取舍的依据，在数据审核、执法比对和排污许可核算中可追溯、可解释。

缺失处理则是有效性标识的延伸。当数据被标记为无效或因故障未采集到时，不能简单删除了事，而要按照规则决定：是补传、是标记缺失、是用相邻有效数据替代，还是在统计时按无效时段剔除。不同处理方式对总量核算结果影响显著。例如某小时COD数据因校准无效，若直接删除，该小时可能被误认为“无排放”；若按规则标记缺失并在核算中说明，结论才站得住。

本节知识结构总览

下图把本课程的核心对象与处理链路放在一起：原始记录经过状态识别与规则判断，被赋予有效性标识；无效或缺失数据进入缺失处理分支，最终形成可用于统计与评价的有效数据集。后续章节将围绕图中的每个环节逐一展开。

课程目标与学习路径

本课程的目标不是记住若干标识代码，而是建立一套可落地的判断能力：看到一条记录，能判断它处于什么状态、应打什么标识、缺失时该怎么处理、处理后对统计结果意味着什么。围绕这一目标，学习路径按“认识数据—建立规则—处理异常—形成结论”推进。

首先理解在线监测数据的产生过程与字段构成，明确时间戳、数值、状态标志之间的关系；接着学习有效性标识的分类与判定规则，包括校准、维护、故障、停运、质控等典型场景的识别条件；然后进入缺失处理，掌握缺失类型划分、补传与替代的适用边界；最后把标识与处理结果落到统计核算和数据审核中，形成从原始记录到可信结论的完整链条。