1. 海洋监测数据与缺测问题导入

海洋监测是认识海洋、管理海洋和预报海洋的基础性工作。无论是近岸水质评价、赤潮预警,还是大洋环流分析、气候模式同化,都依赖连续、可靠、时空匹配的观测数据。然而在实际业务中,几乎没有任何一套海洋监测数据是"完整无缺"的:传感器故障、通信中断、恶劣海况、供电异常、质控剔除,都会让时间序列上出现一段段空白。本课程要解决的核心问题,就是如何科学地识别、处理并合理修复这些缺测数据,使后续分析不被"数据空洞"拖累。

一、海洋监测数据的类型与来源

海洋监测数据可以从"观测平台"和"要素类型"两个维度来理解。按平台分,常见的有固定站点(岸基海洋站、浮标、潜标、海上平台)、移动平台(调查船、漂流浮标、Argo剖面浮标、滑翔机、无人艇)、遥感平台(卫星高度计、海表温度、水色遥感)以及数值模式再分析产品。按要素分,则包括水文要素(水温、盐度、海流、水位、波浪)、气象要素(风速风向、气温、气压、湿度)、生化要素(溶解氧、叶绿素、营养盐、pH、浊度)以及污染物要素等。

不同来源的数据在时间分辨率、空间覆盖和误差特征上差异明显。固定浮标通常每10分钟至1小时输出一组数据,时间连续性好但空间代表性有限;卫星遥感空间覆盖广,却受云遮挡和轨道重访周期影响,容易形成片状或条带状的缺测;Argo浮标剖面间隔约10天,垂向分辨率高但时间上稀疏。理解这些差异,是判断"缺测是否可修复、该用什么方法修复"的前提。

二、缺测的定义与常见成因

缺测(missing data)指在预期应当有观测值的时刻或位置上,数据缺失、无效或被判定为不可用的情形。工程上通常区分三类:一是显式缺测,即记录为空、标记为NaN或填充了约定缺测码(如-9999);二是隐式缺测,即时间戳跳变、采样间隔异常,表面有数据实则断档;三是质控缺测,原始值存在但经范围检查、尖峰检查、一致性检查后被剔除。

常见成因可归纳为:传感器漂移或生物附着导致读数失真;电池耗尽、太阳能供电不足造成停机;通信链路(如北斗、GPRS、铱星)中断导致数据未回传;台风、大浪、冰情等恶劣海况造成设备损坏或移位;数据采集器时钟漂移引起时间错位;以及人为质控规则过严造成的"误删"。区分成因很重要——通信中断造成的缺测往往是整段连续的,而传感器故障可能表现为随机散点缺失或系统性偏移,两者的修复策略完全不同。

海洋监测数据来源 → 缺测成因 → 影响与修复需求 数据来源 岸基站 / 浮标 / 潜标 调查船 / Argo / 滑翔机 卫星遥感 数值模式 / 再分析 时间分辨率与覆盖差异大 缺测成因 传感器漂移 / 生物附着 供电不足 / 设备停机 通信中断 / 数据未回传 恶劣海况 / 设备损坏 时钟漂移 / 质控误删 连续断档 vs 随机散点 对分析与预报的影响 统计量偏差:均值、方差失真 趋势与频谱分析出现伪信号 模式同化与预报初值不完整 阈值判定与预警漏报误报 → 需要识别、处理与合理修复

三、缺测对海洋分析与预报的影响

缺测的危害远不止"少几个数"。首先是统计层面的偏差:若缺测与要素本身相关(例如高风速时浮标易损坏,导致大风时段数据缺失),样本就不再是随机缺失,直接计算平均风速会系统性偏低。其次是时间序列分析层面:等间隔假设被破坏后,功率谱估计会出现虚假峰值,趋势检验的显著性也可能被高估。再次是模式同化与预报层面:海洋数值模式需要规则网格上的完整场,缺测会造成分析增量计算失败或初值场不连续,进而影响预报技巧。

在业务预警中,缺测还可能直接导致判断失误。例如赤潮预警依赖叶绿素和溶解氧的连续变化趋势,若关键时段数据断档,阈值判定就可能漏报;反之,若把缺测码-9999误当作真实值参与计算,又会触发虚假的极值报警。因此,缺测处理不是"锦上添花"的后期美化,而是数据质量控制链条中不可跳过的一环。

四、课程目标与学习路径

本课程围绕"识别—处理—修复—评估"这条主线展开,目标是让学习者能够独立完成一套海洋监测缺测数据的诊断与修复流程,并对修复结果给出可信度判断。具体包括:能识别显式、隐式与质控缺测;能根据缺测类型和要素特征选择合适的修复方法;能实现线性插值、拉格朗日插值、样条插值、回归/机器学习填补以及基于时空相关性的填补;能用交叉验证、误差指标和物理合理性检查评估修复效果。

学习路径上,建议先建立数据与缺测的基本概念(本章),再掌握缺测模式诊断与统计描述,随后依次学习单点时间序列插值、多变量回归填补、时空联合填补,最后进入修复质量评估与业务化落地。每一步都配有可操作的示例参数与判断依据,例如以某浮标10分钟水温序列为例,人为制造连续6小时断档,分别用线性插值与三次样条修复,再用均方根误差(RMSE)和平均绝对误差(MAE)对比——这类练习会贯穿后续章节。

学习建议:在进入具体方法前,先为自己准备一份"缺测档案"——记录数据来源、采样间隔、缺测位置、缺测长度和可能成因。这份档案将直接决定后续选用哪种修复方法,也是评估修复结果是否可信的重要依据。

需要强调的是,任何修复都只是对未知真值的估计,而不是真值本身。修复方法越复杂,越要警惕"过度拟合"带来的虚假连续性。本课程会在每个方法之后讨论其适用条件与失效场景,帮助你在"补得漂亮"和"补得可信"之间做出专业判断。