4. 日均值计算中的缺失数据处理策略

环境空气自动监测系统以小时值为基本统计单元,日均值由当日各小时浓度按时间加权或算术平均得到。但在实际运行中,仪器校准、停电、通信中断、故障维修、异常值剔除等原因,都会造成某些小时数据缺失。缺失数据如何处理,直接决定日均值是否有效、是否可比,因此必须先明确识别、标记与处理三个环节的规则,再谈具体计算。

一、缺失数据的识别与标记

缺失数据不是简单的“没有数”,需要区分三种情形:一是物理缺失,即该小时仪器未产生任何记录,数据表中为空;二是无效数据,即仪器有输出但经审核判定不可用,如校准时段、量程超限、负值、恒值、异常突变;三是未审核数据,即原始记录存在但尚未完成有效性判定。三者对日均值的影响不同,处理前必须先在数据表中用状态标识区分,例如用“有效”“无效”“缺失”“未审核”四类标记,并保留原始值和时间戳,不得直接覆盖。

识别无效数据常用判据包括:小时值超过仪器量程上限或低于方法检出限的负值;同一污染物连续多个小时数值完全不变(恒值);相邻小时变化率超过预设阈值(突变);校准、零点/跨度检查时段内的记录;以及采样流量、温度、压力等辅助参数越限时对应的小时值。标记时应记录判定依据和审核人,保证可追溯。

二、三类处理策略及其适用条件

删除策略:将无效或缺失小时值从当日统计中剔除,仅用剩余有效小时值计算日均值。适用于缺失数量少、且缺失时段与当日浓度变化无明显系统性关联的情形。删除后必须同时检查当日有效小时数是否满足最低要求,否则日均值不能成立。

插补策略:用相邻时段数据或模型估算值填补缺失小时,再参与日均值计算。常用方法有线性内插(用缺失前后最近的有效小时值按时间线性插值)、前值保持(用前一有效小时值替代)、以及基于历史同期或相邻站点数据的回归插补。插补只适用于短时缺失,一般连续缺失不超过2~3小时,且插补值必须单独标记为“插补”,不得与实测值混同。插补会人为降低当日数据的方差,因此不能用于缺失比例较高的日子。

不计算策略:当有效小时数不足、或缺失时段覆盖了浓度日变化的关键阶段(如早晚高峰)时,直接判定当日日均值无效,不参与月均统计。这是最保守也最可靠的做法,可避免用少量数据外推全天。

判断顺序建议:先标记→再统计有效小时数→若满足最低要求则删除或短时插补→若不满足则判为不计算。插补只能作为补充手段,不能替代有效性门槛。

三、对日均值的影响与有效性门槛

删除与插补都会改变参与平均的样本集合,从而改变日均值。缺失时段若恰好是浓度高值时段(如逆温清晨),删除会低估日均值;若缺失的是低值时段,删除会高估。插补则倾向于把日均值拉向相邻时段的水平,平滑掉真实波动。因此,处理策略的选择必须与当日污染过程的时段分布结合判断,而不能只看缺失个数。

工程上通常设定有效性门槛:一日24个小时值中,有效小时数不少于20个(即有效率不低于75%~80%,具体以执行标准或监测规范为准)时,日均值才有效;有效小时数不足时判为无效。有效率计算公式为:有效率 = 有效小时数 ÷ 应测小时数 × 100%。这里的“有效小时数”指经审核可用的小时值,插补值是否计入有效小时数应事先在质控规则中明确,一般建议插补值不计入有效小时数,只用于补全计算。

日均值缺失数据处理决策关系 24 个小时记录 原始值 + 时间戳 识别与标记 有效 / 无效 / 缺失 / 未审核 校准、恒值、突变、越限 统计有效小时数 有效率 = 有效 ÷ 应测 ×100% 门槛示例:≥20 h(≥75%) 有效小时数 是否达标? 删除或短时插补 删除:剔除无效小时,用剩余值平均 插补:连续缺失≤2~3 h,线性内插 插补值单独标记,不计入有效小时数 是 不计算(判无效) 有效小时数不足门槛 或缺失覆盖关键时段 当日日均值不参与月均统计 否 输出:有效日均值(附有效率与插补标记) 输出:无效标记,不进入月均

四、示例演算

假设某日某站点PM2.5小时值共24个,其中2:00—4:00因校准标记为无效(3个),15:00因通信中断缺失(1个),其余20个为有效值。有效小时数为20,有效率 = 20 ÷ 24 × 100% ≈ 83.3%,达到75%门槛,可采用删除策略:将20个有效小时值求和后除以20得到日均值。若该日缺失为2:00—7:00共6个,有效小时数仅18个,有效率75%恰好处于边界,此时应结合缺失时段是否覆盖清晨高值段判断;若覆盖关键时段,宜判为不计算,而不是强行插补6个小时。

再如某日仅12:00缺失1小时,前后11:00和13:00有效值分别为35 μg/m³和41 μg/m³,采用线性内插得12:00估算值38 μg/m³,标记为插补后参与平均,但有效小时数仍按23个计(插补不计入有效),有效率95.8%,日均值有效。这一处理既补全了计算,又保留了数据质量信息。

五、操作要点与记录要求

  • 先标记后计算:任何删除或插补都必须以状态标记为前提,原始数据不得删除或覆盖。
  • 插补有上限:连续缺失超过2~3小时或当日缺失比例较高时,优先判为不计算。
  • 门槛要统一:有效率门槛、插补是否计入有效小时数,应在质控方案中事先规定并在全期数据中一致执行。
  • 结果可追溯:日均值记录中应同时保存有效小时数、有效率、插补小时数及插补方法,便于月均统计和复核。

缺失数据处理的核心不是“把数补齐”,而是保证日均值代表当日真实污染水平。删除、插补、不计算三种策略各有适用边界,判断依据始终是有效小时数是否达标、缺失时段是否关键、以及处理是否可追溯。只有把识别、标记、门槛判断和处理记录串成完整链条,日均值才具备与月均值衔接的可信基础。