2. 缺测数据识别与统计基础
在海洋监测业务中,缺测并不是“没有数据”这么简单。一个观测值可能从未到达数据中心,也可能到达后被质控判为无效,还可能以特定填充值(如 -999、9999、NaN)占位。若不能准确识别这些情形,后续的修复、插值和统计都会建立在错误的数据基础上。本节围绕四件事展开:缺测标记怎么写、质量标识怎么分级、缺测率与缺测模式怎么统计、以及用什么图表把缺测分布看清楚。
一、缺测标记规范:先让“空”有明确语义
缺测标记的核心原则是“可区分、可追溯、不歧义”。工程上通常把缺测分为三类,并分别赋予不同标记:
- 结构性缺测:传感器未部署、观测要素本身不存在(如某浮标未配溶解氧传感器),标记为
NA_STRUCT,不参与缺测率分母。 - 随机性缺测:设备故障、通信中断、供电异常导致的应有观测缺失,标记为
NA_RANDOM,应计入缺测率。 - 质控剔除:数据存在但被质控规则判为异常而置空,标记为
NA_QC,需保留原始值与质控码以便复核。
数值型字段建议统一使用 NaN 或约定的哨兵值,并在元数据中声明哨兵值清单;时间字段缺失必须显式写 null,禁止用 0 或空字符串代替。对海洋剖面数据,还要区分“整层缺失”和“单点缺失”,前者标记在层记录上,后者标记在观测点上,避免统计时重复计数。
二、数据质量标识体系:用分级码表达“可信程度”
质量标识(QC Flag)是对每个观测值可信度的分级描述。海洋监测常用五级体系,与缺测标记配合使用:
| 标识 | 含义 | 是否可用 | 典型来源 |
|---|---|---|---|
| 0 | 未质控 | 谨慎使用 | 实时直传、尚未处理 |
| 1 | 良好 | 可用 | 通过全部检验 |
| 2 | 可疑 | 需复核 | 接近阈值、邻点偏差偏大 |
| 3 | 坏值 | 不可用 | 超量程、变化率异常 |
| 9 | 缺测 | 不可用 | 无观测或质控置空 |
标识体系要与缺测标记联动:当某值被置为缺测时,QC 码应同步置 9,并在备注字段记录原因码(如“传感器漂移”“通信丢包”)。这样统计缺测率时,可以按原因码拆分,定位是设备问题还是传输问题。
三、缺测率与缺测模式统计
缺测率是最基础的指标,定义为应有观测数中缺测所占比例。计算时必须先确定“应有观测数”:对固定采样间隔的数据,应有数 = 时段长度 ÷ 采样间隔;对事件触发型观测,应有数需依据观测计划确定。示例:某站点水温按 10 分钟采样,统计 2024 年 3 月共 31 天,应有观测 4464 个,实际有效 4127 个,则缺测率 = (4464−4127)/4464 ≈ 7.55%。
仅有总缺测率不够,还要看缺测模式。常用统计维度包括:
- 连续缺测长度:统计最长连续缺测点数与长度分布,短缺口可用插值修复,长缺口往往需要标记为不可修复。
- 时段聚集性:按小时、日、月统计缺测率,识别是否集中在夜间供电不足或某月台风期。
- 要素相关性:同一站点多要素同时缺测,提示平台级故障;单要素缺测则更可能是传感器问题。
- 空间分布:按站点或网格统计缺测率,识别区域性通信盲区。
下面这张图把“原始记录 → 标记与质控 → 统计维度 → 图表呈现”的关系组织在一起,便于对照理解各环节的输入输出。
四、常用统计图表与判读
不同图表回答不同问题,选择时应对准统计目的:
- 时间序列图:横轴时间、纵轴要素值,缺测段留空或用红色底纹标出,适合看连续缺测长度与发生时刻。
- 缺测率热力图:横轴时间(日或月)、纵轴站点或要素,颜色深浅表示缺测率,适合快速定位“哪段时间、哪个站点”问题集中。
- 柱状图:按原因码或按月份统计缺测数量,适合比较不同原因的贡献占比。
- 连续缺测长度分布图:横轴缺口长度、纵轴出现次数,用于判断数据是否适合插值修复——短缺口多则可修,长缺口多则应以标记为主。
判读时注意两点:一是缺测率的分母要写清楚,结构性缺测不应拉高缺测率;二是图表要保留 QC 码信息,避免把“可疑但保留”的值与“良好”混为一谈。实际业务中,建议先出站点级缺测率汇总表,再对缺测率偏高的站点下钻到时间序列与热力图,形成“汇总—定位—复核”的统计闭环。
掌握以上标记规范、质量标识、统计维度与图表判读方法后,才能对缺测数据做出“可解释”的判断,为后续的修复策略选择提供依据。