4. 缺测机制分析与可视化
在海洋监测数据中,“缺测”并不是一个同质的现象。同样是海温序列中出现空值,有的来自浮标传感器偶发丢包,有的来自卫星云遮挡造成的整片空白,有的则来自仪器漂移后被人为剔除的整段记录。如果只统计缺测率而不区分机制,后续修复方法的选择就会失去依据——随机缺测可以用插值或回归较好地补全,而系统性缺测往往需要引入外部信息或重新建模。本章围绕缺测机制的分类、时空模式的可视化表达、缺测之间的相关性分析,以及一个区域海温缺测特征的完整分析案例展开。
一、随机缺测与系统缺测的判别
从统计机制上看,缺测可分为三类。第一类是完全随机缺测(MCAR):缺测的发生与数据本身取值无关,例如通信链路偶发中断导致某个整点记录丢失。第二类是随机缺测(MAR):缺测概率依赖于可观测的其他变量,但不依赖于缺失值本身,例如风速超过阈值时浮标停止上报,此时缺测与风速有关,而海温的真实值仍可由风速、气温等协变量解释。第三类是非随机缺测(MNAR):缺测概率与缺失值本身相关,例如传感器在高温段饱和失效,导致高海温记录被系统性剔除。
判别时不能只看缺测率,而要看缺测的分布结构。一个实用的判断路径是:先检查缺测在时间轴上是否成段、在空间上是否成片;再检查缺测标记与同期其他观测变量是否显著相关;最后检查缺测段的数值分布是否与完整段存在偏移。若缺测点近似均匀散布、与任何变量都无显著关联,倾向 MCAR;若缺测集中出现在特定气象条件或特定传感器状态下,倾向 MAR 或 MNAR。需要强调,MNAR 无法仅凭观测数据完全验证,只能通过仪器日志、维护记录等外部证据辅助判断。
二、时空缺测模式的可视化
缺测机制分析的核心手段是可视化。对单站时间序列,常用缺测栅格图:横轴为时间、纵轴为观测要素或传感器通道,用色块表示“有值/缺测”,成段的水平条带往往提示系统性故障,而零散的点状空白更接近随机丢包。对区域数据,常用缺测空间分布图:以格点为单元绘制缺测率,成片高值区通常对应云覆盖带、陆缘浅水区或仪器布设稀疏区。将两者结合,可形成“时间—空间”双维度的缺测画像。
下图给出一个区域海温缺测特征的分析视图,左侧为时间维的缺测栅格,右侧为空间维的缺测率分布,下方为缺测率随时间的月度变化,用于区分随机散布与系统性成段缺测。
三、缺测相关性分析
缺测相关性分析回答两个问题:不同观测通道的缺测是否同时发生?缺测是否与某些环境变量同步?做法是把每个观测点转换为 0/1 的缺测指示变量,再计算通道之间的缺测共现率或 Phi 相关系数。若通道 B 与通道 C 的缺测高度共现,说明它们可能共享同一供电或通信链路,属于系统性缺测;若各通道缺测相互独立,则更接近随机丢包。
进一步,可将缺测指示变量与风速、云量、传感器温度等协变量做相关分析。例如计算缺测指示与日均风速的 Spearman 相关系数,若显著为正,说明高风速时段更易缺测,符合 MAR 机制。需要注意,相关分析只能提示关联,不能直接证明因果,最终仍需结合设备日志确认。
四、案例:某区域海温缺测时空特征分析
假设某近海区域布设 20 个海温观测格点,时间范围为 2023 年全年逐日数据,共 7300 个格点日记录。分析按以下步骤进行。
第一步,构建缺测指示矩阵。将原始数据转换为形状为“格点 × 日期”的 0/1 矩阵,1 表示缺测。统计总体缺测率为 23.6%,但各格点差异明显:西南部格点缺测率低于 8%,东北部最高达 67%。
第二步,时间维成段性检验。计算每个格点连续缺测段长度分布。结果显示,东北部格点存在多条长度超过 15 天的连续缺测段,集中在 7—8 月;而西南部格点的缺测段多在 1—3 天,呈零散分布。这一差异提示东北部以系统性缺测为主,西南部以随机缺测为主。
第三步,空间聚集性检验。对缺测率做空间自相关分析,若高缺测率格点在空间上显著聚集,则支持区域性系统缺测。示例中东北角 5 个格点形成连续高值区,与夏季云覆盖带位置吻合。
第四步,相关性分析。计算缺测指示与云量的相关系数,东北部格点达到 0.62,西南部仅 0.11;通道间缺测共现率在东北部为 0.78,西南部为 0.15。综合判断:东北部为云遮挡主导的 MAR 型系统缺测,西南部为通信丢包主导的 MCAR 型随机缺测。
通过上述机制判别、时空可视化与相关性分析,缺测不再是一个笼统的比例数字,而成为带有成因标签的数据特征。这一画像直接决定了后续修复方法的选择边界与可信度评估方式。