4. 海洋数据特性与预处理

海洋遥测终端长期工作在盐雾、涌浪、温跃层与生物附着交织的环境中,采集到的原始数据往往"看起来有数、用起来不可信"。在把数据上传到岸站之前,必须完成一轮有依据的预处理。本节围绕海洋数据的时空特性、噪声与异常值识别、滤波与平滑方法,以及质量标记与预处理流程展开,并给出一个可复现的处理案例。

一、海洋数据的时空特性

海洋数据与普通工业传感器数据最大的差别在于时空强相关。空间上,温度、盐度、溶解氧随深度呈层化分布,温跃层附近梯度可达每米零点几摄氏度,而混合层内几乎不变;水平方向上受岸线、地形和流系影响,相邻站点的数据不能简单互换。时间上,潮汐、内波、昼夜变化和季节变化叠加,同一测点在不同时刻的"正常值"并不相同。

这带来两个直接后果。第一,采样间隔必须与物理过程匹配:观测潮位通常取1分钟或6分钟,观测温盐深剖面则按深度分层采样,若用10分钟间隔去捕捉内波,会因欠采样产生混叠。第二,异常判断必须带上下文:一个35℃的表层水温在赤道海域可能正常,在高纬度冬季则几乎必然是错误。因此预处理不能只看单点数值,而要结合时间邻域、深度邻域和站点历史统计。

二、噪声与异常值的识别

工程上通常把"坏数据"分成两类:噪声是围绕真值的小幅随机波动,来自传感器本底、电路热噪声和波浪引起的瞬时扰动;异常值是明显偏离真值的离群点,来源包括传感器故障、生物附着、供电跌落、通信丢包后的补零、以及单位或量程配置错误。

识别异常值常用三类判据。其一是物理量程判据:例如水温合理范围设为-2~40℃,盐度0~45 PSU,溶解氧0~20 mg/L,超出即判为无效。其二是变化率判据:相邻两次采样之差超过阈值即怀疑,如水温1分钟内变化超过2℃、盐度超过5 PSU,多为尖峰干扰。其三是统计判据:以滑动窗口的中位数和四分位距(IQR)为基准,偏离中位数超过3倍IQR的点标记为可疑。相比均值与标准差,中位数和IQR对离群点本身不敏感,更适合海洋数据的偏态分布。

对连续多个点同时超限的情况要区别对待:单点尖峰多为通信或电磁干扰,可用滤波修复;连续多点漂移则更可能是生物附着或传感器老化,应标记为可疑并安排维护,而不是简单平滑掉。

三、滤波与平滑方法

滤波的目标是压制噪声而保留真实信号。选择方法时要先问:我要保留的是什么频段。潮汐是低频信号,内波和波浪是较高频信号,二者需要的处理完全不同。

  • 滑动平均:实现简单,对白噪声有效,但会削平峰值、引入相位滞后,窗口越长滞后越大,不适合对时间对齐要求高的场合。
  • 中值滤波:取窗口内中位数,对单点尖峰抑制效果最好,且能较好保留阶跃和梯度变化,常用于去除通信毛刺。
  • 一阶低通(指数平滑):递推式 yk = α·xk + (1−α)·yk−1,α 越小越平滑、滞后越大,适合终端算力有限的在线处理。
  • 滑动多项式拟合(Savitzky-Golay):在窗口内做低阶多项式最小二乘拟合,取中心点作为输出,能在去噪的同时较好保持曲线形状和峰值,适合温盐深剖面。

需要强调:滤波不能替代异常值剔除。若先滤波再判异常,尖峰会被摊平到邻近点,反而污染更多数据。正确顺序是先做量程与变化率筛查、剔除明显坏点,再对剩余序列滤波。

四、质量标记与预处理流程

海洋观测领域普遍采用分级质量标记,便于下游按需取舍。一个实用的五级方案如下表,标记值随数据一并上传,岸站据此决定是否参与统计或绘图。

标记含义典型判据下游处理建议
0未校验原始数据,尚未处理不直接使用
1良好量程内、变化率正常、通过统计检验可直接使用
2可疑偏离中位数超3倍IQR,或变化率接近阈值谨慎使用,标注说明
3坏值超物理量程、补零、校验失败剔除
4已修正经插值或滤波修复,保留原值备查可用,需注明修正

完整的预处理流程可概括为:接收原始帧 → 解析与时间对齐 → 量程筛查 → 变化率筛查 → 统计离群检测 → 坏点剔除与插值 → 滤波平滑 → 打质量标记 → 打包上传。其中时间对齐要特别注意终端时钟漂移,建议每条记录同时保留采集时刻与终端上电计数,便于岸站复核。

五、预处理流程案例

假设某浮标终端以1分钟间隔上传表层水温,连续6个采样值为:18.2、18.3、31.5、18.4、18.2、18.3 ℃。按上述流程处理:第一步量程筛查,31.5℃虽在-2~40℃内但明显偏离;第二步变化率判据,该点相对前一点变化13.3℃,远超2℃/分钟阈值,判为坏值(标记3);第三步剔除后用前后两点线性插值,得18.35℃,标记为已修正(标记4);第四步对整段序列做窗口为5的中值滤波,其余点基本不变。最终上传序列为18.2、18.3、18.35、18.4、18.2、18.3,并附带各点标记。

若同一测点连续20分钟出现缓慢单向漂移(如每分钟升0.3℃且无物理依据),则不应逐点插值,而应整段标记为可疑并触发维护告警——这正是"单点尖峰"与"系统性漂移"在处置上的关键分野。

海洋遥测数据预处理流程与质量标记 原始数据帧 解析/时间对齐 量程筛查 -2~40℃ / 0~45 变化率筛查 ΔT≤2℃/min 统计离群检测 中位数±3×IQR 剔除/插值 标记3→4 滤波平滑 中值/S-G 打质量标记 0~4级 打包上传 数据+标记 案例:表层水温序列(1分钟间隔) ℃ 18 25 32 31.5℃ 坏值 插值18.35℃ t1 t2 t4 t5 t6 正常值(标记1) 坏值(标记3)

把上述流程固化为终端固件中的处理链后,上传的数据不再是"裸值",而是"值+可信度"。岸站侧只需按标记过滤,就能在不增加人工判读的前提下显著提升数据可用率。对海洋遥测而言,预处理不是可选的清洗步骤,而是数据能否进入业务应用的前置门槛。