4. 海洋数据特性与预处理
海洋遥测终端长期工作在盐雾、涌浪、温跃层与生物附着交织的环境中,采集到的原始数据往往"看起来有数、用起来不可信"。在把数据上传到岸站之前,必须完成一轮有依据的预处理。本节围绕海洋数据的时空特性、噪声与异常值识别、滤波与平滑方法,以及质量标记与预处理流程展开,并给出一个可复现的处理案例。
一、海洋数据的时空特性
海洋数据与普通工业传感器数据最大的差别在于时空强相关。空间上,温度、盐度、溶解氧随深度呈层化分布,温跃层附近梯度可达每米零点几摄氏度,而混合层内几乎不变;水平方向上受岸线、地形和流系影响,相邻站点的数据不能简单互换。时间上,潮汐、内波、昼夜变化和季节变化叠加,同一测点在不同时刻的"正常值"并不相同。
这带来两个直接后果。第一,采样间隔必须与物理过程匹配:观测潮位通常取1分钟或6分钟,观测温盐深剖面则按深度分层采样,若用10分钟间隔去捕捉内波,会因欠采样产生混叠。第二,异常判断必须带上下文:一个35℃的表层水温在赤道海域可能正常,在高纬度冬季则几乎必然是错误。因此预处理不能只看单点数值,而要结合时间邻域、深度邻域和站点历史统计。
二、噪声与异常值的识别
工程上通常把"坏数据"分成两类:噪声是围绕真值的小幅随机波动,来自传感器本底、电路热噪声和波浪引起的瞬时扰动;异常值是明显偏离真值的离群点,来源包括传感器故障、生物附着、供电跌落、通信丢包后的补零、以及单位或量程配置错误。
识别异常值常用三类判据。其一是物理量程判据:例如水温合理范围设为-2~40℃,盐度0~45 PSU,溶解氧0~20 mg/L,超出即判为无效。其二是变化率判据:相邻两次采样之差超过阈值即怀疑,如水温1分钟内变化超过2℃、盐度超过5 PSU,多为尖峰干扰。其三是统计判据:以滑动窗口的中位数和四分位距(IQR)为基准,偏离中位数超过3倍IQR的点标记为可疑。相比均值与标准差,中位数和IQR对离群点本身不敏感,更适合海洋数据的偏态分布。
三、滤波与平滑方法
滤波的目标是压制噪声而保留真实信号。选择方法时要先问:我要保留的是什么频段。潮汐是低频信号,内波和波浪是较高频信号,二者需要的处理完全不同。
- 滑动平均:实现简单,对白噪声有效,但会削平峰值、引入相位滞后,窗口越长滞后越大,不适合对时间对齐要求高的场合。
- 中值滤波:取窗口内中位数,对单点尖峰抑制效果最好,且能较好保留阶跃和梯度变化,常用于去除通信毛刺。
- 一阶低通(指数平滑):递推式 yk = α·xk + (1−α)·yk−1,α 越小越平滑、滞后越大,适合终端算力有限的在线处理。
- 滑动多项式拟合(Savitzky-Golay):在窗口内做低阶多项式最小二乘拟合,取中心点作为输出,能在去噪的同时较好保持曲线形状和峰值,适合温盐深剖面。
需要强调:滤波不能替代异常值剔除。若先滤波再判异常,尖峰会被摊平到邻近点,反而污染更多数据。正确顺序是先做量程与变化率筛查、剔除明显坏点,再对剩余序列滤波。
四、质量标记与预处理流程
海洋观测领域普遍采用分级质量标记,便于下游按需取舍。一个实用的五级方案如下表,标记值随数据一并上传,岸站据此决定是否参与统计或绘图。
| 标记 | 含义 | 典型判据 | 下游处理建议 |
|---|---|---|---|
| 0 | 未校验 | 原始数据,尚未处理 | 不直接使用 |
| 1 | 良好 | 量程内、变化率正常、通过统计检验 | 可直接使用 |
| 2 | 可疑 | 偏离中位数超3倍IQR,或变化率接近阈值 | 谨慎使用,标注说明 |
| 3 | 坏值 | 超物理量程、补零、校验失败 | 剔除 |
| 4 | 已修正 | 经插值或滤波修复,保留原值备查 | 可用,需注明修正 |
完整的预处理流程可概括为:接收原始帧 → 解析与时间对齐 → 量程筛查 → 变化率筛查 → 统计离群检测 → 坏点剔除与插值 → 滤波平滑 → 打质量标记 → 打包上传。其中时间对齐要特别注意终端时钟漂移,建议每条记录同时保留采集时刻与终端上电计数,便于岸站复核。
五、预处理流程案例
假设某浮标终端以1分钟间隔上传表层水温,连续6个采样值为:18.2、18.3、31.5、18.4、18.2、18.3 ℃。按上述流程处理:第一步量程筛查,31.5℃虽在-2~40℃内但明显偏离;第二步变化率判据,该点相对前一点变化13.3℃,远超2℃/分钟阈值,判为坏值(标记3);第三步剔除后用前后两点线性插值,得18.35℃,标记为已修正(标记4);第四步对整段序列做窗口为5的中值滤波,其余点基本不变。最终上传序列为18.2、18.3、18.35、18.4、18.2、18.3,并附带各点标记。
若同一测点连续20分钟出现缓慢单向漂移(如每分钟升0.3℃且无物理依据),则不应逐点插值,而应整段标记为可疑并触发维护告警——这正是"单点尖峰"与"系统性漂移"在处置上的关键分野。
把上述流程固化为终端固件中的处理链后,上传的数据不再是"裸值",而是"值+可信度"。岸站侧只需按标记过滤,就能在不增加人工判读的前提下显著提升数据可用率。对海洋遥测而言,预处理不是可选的清洗步骤,而是数据能否进入业务应用的前置门槛。