4. 日均值计算中的缺失数据处理策略
环境空气自动监测系统以小时值为基本统计单元,日均值由当日各小时浓度按时间加权或算术平均得到。但在实际运行中,仪器校准、停电、通信中断、故障维修、异常值剔除等原因,都会造成某些小时数据缺失。缺失数据如何处理,直接决定日均值是否有效、是否可比,因此必须先明确识别、标记与处理三个环节的规则,再谈具体计算。
一、缺失数据的识别与标记
缺失数据不是简单的“没有数”,需要区分三种情形:一是物理缺失,即该小时仪器未产生任何记录,数据表中为空;二是无效数据,即仪器有输出但经审核判定不可用,如校准时段、量程超限、负值、恒值、异常突变;三是未审核数据,即原始记录存在但尚未完成有效性判定。三者对日均值的影响不同,处理前必须先在数据表中用状态标识区分,例如用“有效”“无效”“缺失”“未审核”四类标记,并保留原始值和时间戳,不得直接覆盖。
识别无效数据常用判据包括:小时值超过仪器量程上限或低于方法检出限的负值;同一污染物连续多个小时数值完全不变(恒值);相邻小时变化率超过预设阈值(突变);校准、零点/跨度检查时段内的记录;以及采样流量、温度、压力等辅助参数越限时对应的小时值。标记时应记录判定依据和审核人,保证可追溯。
二、三类处理策略及其适用条件
删除策略:将无效或缺失小时值从当日统计中剔除,仅用剩余有效小时值计算日均值。适用于缺失数量少、且缺失时段与当日浓度变化无明显系统性关联的情形。删除后必须同时检查当日有效小时数是否满足最低要求,否则日均值不能成立。
插补策略:用相邻时段数据或模型估算值填补缺失小时,再参与日均值计算。常用方法有线性内插(用缺失前后最近的有效小时值按时间线性插值)、前值保持(用前一有效小时值替代)、以及基于历史同期或相邻站点数据的回归插补。插补只适用于短时缺失,一般连续缺失不超过2~3小时,且插补值必须单独标记为“插补”,不得与实测值混同。插补会人为降低当日数据的方差,因此不能用于缺失比例较高的日子。
不计算策略:当有效小时数不足、或缺失时段覆盖了浓度日变化的关键阶段(如早晚高峰)时,直接判定当日日均值无效,不参与月均统计。这是最保守也最可靠的做法,可避免用少量数据外推全天。
三、对日均值的影响与有效性门槛
删除与插补都会改变参与平均的样本集合,从而改变日均值。缺失时段若恰好是浓度高值时段(如逆温清晨),删除会低估日均值;若缺失的是低值时段,删除会高估。插补则倾向于把日均值拉向相邻时段的水平,平滑掉真实波动。因此,处理策略的选择必须与当日污染过程的时段分布结合判断,而不能只看缺失个数。
工程上通常设定有效性门槛:一日24个小时值中,有效小时数不少于20个(即有效率不低于75%~80%,具体以执行标准或监测规范为准)时,日均值才有效;有效小时数不足时判为无效。有效率计算公式为:有效率 = 有效小时数 ÷ 应测小时数 × 100%。这里的“有效小时数”指经审核可用的小时值,插补值是否计入有效小时数应事先在质控规则中明确,一般建议插补值不计入有效小时数,只用于补全计算。
四、示例演算
假设某日某站点PM2.5小时值共24个,其中2:00—4:00因校准标记为无效(3个),15:00因通信中断缺失(1个),其余20个为有效值。有效小时数为20,有效率 = 20 ÷ 24 × 100% ≈ 83.3%,达到75%门槛,可采用删除策略:将20个有效小时值求和后除以20得到日均值。若该日缺失为2:00—7:00共6个,有效小时数仅18个,有效率75%恰好处于边界,此时应结合缺失时段是否覆盖清晨高值段判断;若覆盖关键时段,宜判为不计算,而不是强行插补6个小时。
再如某日仅12:00缺失1小时,前后11:00和13:00有效值分别为35 μg/m³和41 μg/m³,采用线性内插得12:00估算值38 μg/m³,标记为插补后参与平均,但有效小时数仍按23个计(插补不计入有效),有效率95.8%,日均值有效。这一处理既补全了计算,又保留了数据质量信息。
五、操作要点与记录要求
- 先标记后计算:任何删除或插补都必须以状态标记为前提,原始数据不得删除或覆盖。
- 插补有上限:连续缺失超过2~3小时或当日缺失比例较高时,优先判为不计算。
- 门槛要统一:有效率门槛、插补是否计入有效小时数,应在质控方案中事先规定并在全期数据中一致执行。
- 结果可追溯:日均值记录中应同时保存有效小时数、有效率、插补小时数及插补方法,便于月均统计和复核。
缺失数据处理的核心不是“把数补齐”,而是保证日均值代表当日真实污染水平。删除、插补、不计算三种策略各有适用边界,判断依据始终是有效小时数是否达标、缺失时段是否关键、以及处理是否可追溯。只有把识别、标记、门槛判断和处理记录串成完整链条,日均值才具备与月均值衔接的可信基础。