3. 海洋观测数据质量问题的识别与分类

海洋观测数据从传感器采集到最终进入数据库，要经过采集、传输、解码、质控、入库等多个环节，每个环节都可能引入质量问题。标准化处理的第一步不是急着清洗，而是准确识别问题类型并判断成因——因为不同问题对应完全不同的处理策略：异常值可能需要标记而非删除，缺失值可能需要插值而非填补零值，漂移需要校正而非剔除，重复记录需要去重而非合并。把问题认错了，后续处理就会把可用数据改坏。

本节围绕六类最常见的问题展开：异常值、缺失值、漂移、重复记录、时间戳错乱、单位不一致。我们先看它们各自的表现，再分析成因，最后给出识别时的判断依据。

一、六类问题的表现与成因

异常值（离群值）表现为数值明显偏离该要素的物理合理范围或局部统计分布。例如某海区表层水温序列长期在 18～24 ℃ 波动，突然出现一个 87.6 ℃ 的记录；或盐度出现负值。成因主要有三类：传感器瞬时故障或尖峰噪声、传输误码导致数值位翻转、以及解码时字段错位。需要区分的是，异常值也可能是真实极端事件（如近岸淡水输入导致盐度骤降），因此不能一律按统计阈值剔除，必须结合物理上限和相邻时刻变化率共同判断。

缺失值表现为记录存在但要素为空，或整条记录缺失。常见编码有空白、NaN、-999、9999 等填充值。成因包括传感器掉线、通信中断、供电不足、质控阶段被标记剔除后未回填。识别难点在于填充值与真实值混同：若 -999 未在元数据中声明，统计时会被当作真实低温参与计算，直接拉低均值。

漂移表现为测量值随时间缓慢、单向地偏离真值，短期看不出来，长期对比才明显。典型如溶解氧传感器膜老化导致读数逐月偏低，或温度传感器因结垢响应变慢。漂移的成因是传感器老化、生物附着、校准周期过长。它与异常值的区别在于：漂移是系统性、渐进性的偏差，单点看都“正常”，只有通过时间序列趋势或与参考站比对才能发现。

重复记录表现为同一观测时刻、同一站位、同一要素出现多条记录，可能完全相同，也可能数值略有差异。成因包括传输重发、多源数据合并时未去重、入库脚本重复执行。识别时要明确“重复”的判定键，通常是站位标识 + 要素 + 观测时间的组合。

时间戳错乱表现多样：时间倒序、时间跳跃、时区混用（UTC 与本地时混存）、时间精度不一致（有的到秒、有的到天）。成因包括设备时钟未同步、跨时区数据汇交未统一、字符串解析格式错误。这类问题最隐蔽，因为它不改变数值本身，却会让时间序列分析、插值和统计全部失真。

单位不一致表现为同一要素在不同来源中单位不同，如水温有的用 ℃、有的用 K；风速有的用 m/s、有的用 kn；压强有的用 hPa、有的用 dbar。成因是不同观测平台、不同历史时期的规范差异。若未统一就合并，会出现量级错误，例如 20 ℃ 被当作 20 K 参与计算。

二、识别时的关键判断依据

实际工作中，六类问题往往交织出现，需要按一定顺序排查。建议先做确定性检查（时间戳、重复键、单位、填充值），再做统计与物理检查（范围、变化率、趋势）。原因是前四类可以依据元数据和规则直接判定，后两类需要结合领域知识。

以异常值判断为例，常用三条依据：一是物理范围，如海水温度一般不超过 40 ℃、盐度在 0～42 之间；二是变化率，相邻两次观测（如 1 小时）水温变化超过 5 ℃ 就值得怀疑；三是局部统计，用滑动窗口中位数和 MAD（中位数绝对偏差）构造稳健阈值，比直接用均值±3σ 更抗污染。三条依据同时满足才判为异常，可显著降低误判。

漂移的识别则依赖时间尺度。单条记录无法判断漂移，需要把数月甚至数年的序列画出来看趋势，或与邻近参考站做差值序列。若差值随时间单调增大，基本可判定为漂移。此时处理方式是校正（如线性回归修正）或标记后交由下游决定，而不是简单删除。

三、一个可操作的分类记录示例

为了让识别结果可追溯，建议在质控环节为每条记录写入问题类型标记。下面是一个简化的标记表结构示例（字段与取值属于教学示例，实际项目应按数据规范调整）：

需要强调的是，分类不是一次性的。随着数据量增加和参考信息完善，原先判为异常的值可能被确认为真实极端事件，原先认为正常的序列可能暴露出缓慢漂移。因此质控标记应保留判断依据和时间，便于回溯与修订。这也是海洋观测数据标准化处理中“可追溯”要求的直接体现。