2. 缺测数据识别与统计基础

在海洋监测业务中,缺测并不是“没有数据”这么简单。一个观测值可能从未到达数据中心,也可能到达后被质控判为无效,还可能以特定填充值(如 -999、9999、NaN)占位。若不能准确识别这些情形,后续的修复、插值和统计都会建立在错误的数据基础上。本节围绕四件事展开:缺测标记怎么写、质量标识怎么分级、缺测率与缺测模式怎么统计、以及用什么图表把缺测分布看清楚。

一、缺测标记规范:先让“空”有明确语义

缺测标记的核心原则是“可区分、可追溯、不歧义”。工程上通常把缺测分为三类,并分别赋予不同标记:

  • 结构性缺测:传感器未部署、观测要素本身不存在(如某浮标未配溶解氧传感器),标记为 NA_STRUCT,不参与缺测率分母。
  • 随机性缺测:设备故障、通信中断、供电异常导致的应有观测缺失,标记为 NA_RANDOM,应计入缺测率。
  • 质控剔除:数据存在但被质控规则判为异常而置空,标记为 NA_QC,需保留原始值与质控码以便复核。

数值型字段建议统一使用 NaN 或约定的哨兵值,并在元数据中声明哨兵值清单;时间字段缺失必须显式写 null,禁止用 0 或空字符串代替。对海洋剖面数据,还要区分“整层缺失”和“单点缺失”,前者标记在层记录上,后者标记在观测点上,避免统计时重复计数。

实践要点:缺测标记应写入数据文件本身而非仅存于日志;同一数据集内哨兵值只能有一套,跨系统交换时在头信息中声明,防止 -999 被误当作真实低温值参与平均。

二、数据质量标识体系:用分级码表达“可信程度”

质量标识(QC Flag)是对每个观测值可信度的分级描述。海洋监测常用五级体系,与缺测标记配合使用:

标识含义是否可用典型来源
0未质控谨慎使用实时直传、尚未处理
1良好可用通过全部检验
2可疑需复核接近阈值、邻点偏差偏大
3坏值不可用超量程、变化率异常
9缺测不可用无观测或质控置空

标识体系要与缺测标记联动:当某值被置为缺测时,QC 码应同步置 9,并在备注字段记录原因码(如“传感器漂移”“通信丢包”)。这样统计缺测率时,可以按原因码拆分,定位是设备问题还是传输问题。

三、缺测率与缺测模式统计

缺测率是最基础的指标,定义为应有观测数中缺测所占比例。计算时必须先确定“应有观测数”:对固定采样间隔的数据,应有数 = 时段长度 ÷ 采样间隔;对事件触发型观测,应有数需依据观测计划确定。示例:某站点水温按 10 分钟采样,统计 2024 年 3 月共 31 天,应有观测 4464 个,实际有效 4127 个,则缺测率 = (4464−4127)/4464 ≈ 7.55%。

仅有总缺测率不够,还要看缺测模式。常用统计维度包括:

  • 连续缺测长度:统计最长连续缺测点数与长度分布,短缺口可用插值修复,长缺口往往需要标记为不可修复。
  • 时段聚集性:按小时、日、月统计缺测率,识别是否集中在夜间供电不足或某月台风期。
  • 要素相关性:同一站点多要素同时缺测,提示平台级故障;单要素缺测则更可能是传感器问题。
  • 空间分布:按站点或网格统计缺测率,识别区域性通信盲区。

下面这张图把“原始记录 → 标记与质控 → 统计维度 → 图表呈现”的关系组织在一起,便于对照理解各环节的输入输出。

缺测识别与统计流程示意 原始观测记录 时间戳 + 要素值 哨兵值 / 空值 采样间隔 10 min 标记与质控 NA_STRUCT / NA_RANDOM NA_QC + QC 码 0/1/2/3/9 原因码写入备注 统计维度 缺测率(按要素/时段) 连续缺测长度 时段聚集 / 空间分布 图表呈现 时间序列 热力图 柱状/饼图 缺测模式示例:某站点 24 小时水温记录(每格 1 小时) 水温 盐度 溶解氧 有效(QC=1) 可疑(QC=2) 缺测(QC=9) 观察:第 4–5 小时三要素同时缺测 → 平台级故障;第 9 小时仅水温可疑 → 单传感器问题。 该日缺测率 = 6 / 72 ≈ 8.3%,最长连续缺测长度 = 2 小时。

四、常用统计图表与判读

不同图表回答不同问题,选择时应对准统计目的:

  • 时间序列图:横轴时间、纵轴要素值,缺测段留空或用红色底纹标出,适合看连续缺测长度与发生时刻。
  • 缺测率热力图:横轴时间(日或月)、纵轴站点或要素,颜色深浅表示缺测率,适合快速定位“哪段时间、哪个站点”问题集中。
  • 柱状图:按原因码或按月份统计缺测数量,适合比较不同原因的贡献占比。
  • 连续缺测长度分布图:横轴缺口长度、纵轴出现次数,用于判断数据是否适合插值修复——短缺口多则可修,长缺口多则应以标记为主。

判读时注意两点:一是缺测率的分母要写清楚,结构性缺测不应拉高缺测率;二是图表要保留 QC 码信息,避免把“可疑但保留”的值与“良好”混为一谈。实际业务中,建议先出站点级缺测率汇总表,再对缺测率偏高的站点下钻到时间序列与热力图,形成“汇总—定位—复核”的统计闭环。

常见误区:直接用 0 填充缺测值再求平均,会系统性拉低均值并掩盖缺测模式;正确做法是先标记、再统计、后决定是否修复,修复结果单独存字段,不覆盖原始记录。

掌握以上标记规范、质量标识、统计维度与图表判读方法后,才能对缺测数据做出“可解释”的判断,为后续的修复策略选择提供依据。