3. 海洋数据质量检查与预处理
多站点海洋观测数据在进入融合与评估流程之前,必须先经过质量检查与预处理。来自浮标、潜标、调查船、卫星遥感与岸基站点的数据,往往在时间分辨率、空间代表性、量纲和精度上各不相同,原始记录中普遍存在缺测、尖峰、漂移、时间错位和空间不一致等问题。如果直接把这些数据送入融合模型,误差会被放大并传播到最终产品中。本节围绕缺失值检测与处理、异常值识别、时间一致性检查、空间一致性检查以及标准化与归一化五个环节展开,说明每一步的实际做法与判断依据。
缺失值检测与处理
缺失值检测首先要区分“显式缺失”和“隐式缺失”。显式缺失是数据文件中以空值、特定填充码(如 -999、9999、NaN)标记的记录;隐式缺失则是时间序列中本应存在却整条缺失的时间戳,例如某浮标设定每 10 分钟一条记录,但某段时间完全没有数据行。检测时应对每个站点建立完整的时间索引,再与实测记录比对,统计缺失率、连续缺失长度和缺失分布。连续缺失长度尤其重要:单点缺失可以用插值修补,而连续数小时甚至数天的缺失往往意味着传感器故障或通信中断,插值会制造虚假信息。
处理方法需按缺失比例和连续性分级。对于短时单点缺失,可采用线性插值或三次样条插值;对于海洋要素具有明显日周期的情况,可用相邻同相位时刻的值做周期插值;对于较长连续缺失,应标记为无效段而不插值,并在后续融合中降低该站点权重。示例而言,某站点海表温度序列缺失率为 3.2%,但其中一段连续缺失达 6 小时,则这段应保留为缺测标记,其余零散缺失用线性插值补齐。所有插值结果都应写入质量标记字段,便于追溯。
异常值识别:阈值法与统计法
异常值识别通常采用阈值法与统计法相结合的策略。阈值法基于物理量程和变化率设定硬边界,例如海表温度合理范围可设为 -2℃ 至 35℃,盐度设为 0 至 42,同时设定单步变化率上限,如水温 10 分钟内变化不超过 2℃。超出边界的记录直接判为可疑。阈值法简单可靠,但边界设置过宽会漏检,过窄会误判,因此需要结合区域气候特征调整。
统计法利用数据自身的分布特征识别偏离。常用做法包括基于均值和标准差的 3σ 准则、基于四分位距的箱线图准则(超出 Q1−1.5IQR 或 Q3+1.5IQR 判为异常),以及滑动窗口内的局部离群检测。3σ 准则假设数据近似正态分布,对偏态分布容易误判;箱线图准则对偏态更稳健。实际处理时,可先用滑动窗口中位数和 MAD(中位数绝对偏差)计算稳健 Z 分数,再结合阈值法结果做交叉确认:只有两种方法都判为可疑且变化率超限的点才标记为异常。被标记的异常值不应直接删除,而应先置为缺测,再按缺失值处理策略决定插值或保留空缺。
时间一致性检查
多站点数据融合的前提是时间轴对齐。时间一致性检查包括三个层面:时区与时间基准统一、时间戳有效性、以及序列间的滞后关系。首先应把所有站点的时间统一到 UTC,并明确记录原始时区,避免把北京时间误当 UTC 造成 8 小时偏移。其次检查时间戳是否单调递增、是否存在重复记录、是否出现明显超前或滞后的时间值。最后,对同一海域不同站点的同一要素做互相关分析,若某站点相对邻近站点存在固定滞后(例如仪器时钟漂移导致 15 分钟偏移),应在预处理中校正。
完成检查后,需将各站点重采样到统一时间网格。对高频数据可做窗口平均降采样,对低频数据可插值升采样,但升采样不应超过原始分辨率的合理倍数。重采样时建议同时输出每个网格点的有效样本数,样本数过少的网格点应标记为低置信度。
空间一致性检查
空间一致性检查用于发现位置错误或局地污染导致的异常。基本思路是以目标站点为中心,选取一定半径内的邻近站点,用反距离权重或克里金估计该点的参考值,再计算实测值与参考值的偏差。若偏差超过设定阈值(如温度偏差大于 3℃ 且持续多个时次),则判为空间不一致。检查时还需结合陆海掩膜排除落在陆地上的观测点,并核对水深、地形与观测要素的物理合理性,例如浅水区出现深海盐度特征就值得怀疑。
标准化与归一化
不同要素量纲差异很大,温度以摄氏度计、盐度无量纲、流速以 m/s 计,直接进入融合模型会导致数值大的变量主导结果。Z-score 标准化将每个变量变换为均值 0、标准差 1 的序列,适合近似正态分布的数据;Min-Max 归一化把变量线性映射到 [0,1],适合有明确上下界的要素,但对异常值敏感;稳健标准化使用中位数和四分位距,适合存在离群点的海洋观测序列。需要强调的是,标准化参数必须只用训练期或基准期数据估计,再应用到后续数据,避免引入未来信息。处理完成后,应为每条记录保留质量标记字段,记录缺失、异常、时间校正和空间检查的结论,使整个预处理过程可追溯、可复核。