4. 标准化处理的核心原则与规范依据

海洋观测数据的标准化处理,本质上不是“把数据修得好看”,而是让不同平台、不同航次、不同机构产出的观测值,在同一套质量语言下可比较、可追溯、可复用。要做到这一点,必须同时抓住两条主线:一是质量控制流程的规范化,二是元数据的完整化。QARTOD、IOOS、GOOS 等体系正是围绕这两条主线建立的共同参照。

一、四类规范各自管什么

理解规范依据,先要分清它们的层级和分工,避免把“业务框架”和“检验算法”混为一谈。

  • GOOS(全球海洋观测系统):提供观测系统的顶层框架与要素需求,界定“哪些变量、以什么时空分辨率、服务于什么应用”,是需求侧的纲领性依据。
  • IOOS(美国综合海洋观测系统):在区域观测系统层面落实数据管理,强调数据发现、访问与互操作,其数据管理框架规定了元数据、数据格式与分发服务的组织方式。
  • QARTOD(海洋数据实时质量控制):提供可直接落地的检验算法与标志体系,按变量(水温、盐度、海流、水位、溶解氧、波浪等)分别给出测试项目与阈值建议,是执行侧最具体的依据。
  • NetCDF/CF 与 ACDD 约定:规定文件结构、变量命名、单位、坐标与属性描述,使数据在物理层面可被通用工具读取和解释。

四者的关系可以概括为:GOOS 定需求,IOOS 定数据组织与服务,QARTOD 定检验规则,CF/ACDD 定编码表达。标准化处理时,通常以 QARTOD 的检验流程为操作骨架,以 CF/ACDD 为落盘规范,以 IOOS/GOOS 的元数据要求为完整性校验清单。

规范依据的四个层级 GOOS · 需求层 要素需求、时空分辨率、应用目标 IOOS · 组织层 数据管理框架、互操作与分发服务 QARTOD · 执行层 分变量检验算法、阈值、质量标志 CF / ACDD · 编码层 变量命名、单位、坐标、属性描述 QARTOD 质量控制流程(以温盐为例) 1 时序/位置/速度检验 时间戳、经纬度、平台速度合理性 2 全局范围检验 超出气候极值即判为可疑/失败 3 气候学/区域范围检验 按季节与海域收紧阈值 4 尖峰/变化率检验 相邻样本跳变超过阈值 5 内部一致性/邻点检验 温盐互校、邻近站比对 质量标志(QC Flag) 1 = 通过(Good) 2 = 未评估(Not evaluated) 3 = 可疑(Suspect) 4 = 失败(Fail) 9 = 缺失(Missing) 元数据必备项(示例) 平台/航次标识、仪器型号与序列号 观测时间基准、坐标与深度基准 单位、量程、采样频率 校准记录、处理级别、QC 方案版本 责任人/机构与数据许可 标准化输出:NetCDF + CF/ACDD 属性 + 逐点 QC 标志 + 处理溯源记录 同一变量、同一单位、同一坐标基准,可被通用工具直接读取与再分析

二、核心原则:先定规则,再动数据

标准化处理最容易犯的错误,是拿到数据后凭经验“看着不对就删”。规范化的做法是先固化规则,再让规则作用于数据。可归纳为五条原则。

第一,可追溯。每一个被修改、被标记、被剔除的值,都必须能回答“谁、在什么时间、依据哪条规则、做了什么”。这意味着原始数据不可覆盖,处理过程以新变量或新文件形式叠加,QC 标志与数据同文件存放。

第二,分级判定而非二元取舍。QARTOD 的标志体系把结果分为通过、未评估、可疑、失败、缺失五档,而不是简单的“好/坏”。可疑值保留但标注,供后续分析按需取舍;只有明确失败的值才置为缺失。这样既避免误删真实信号,也保留了极端事件的可能性。

第三,阈值必须与海域和季节匹配。全球范围检验只能拦住明显错误,真正有效的是气候学范围检验。例如表层水温全球极值可设为 −2 ℃ 至 40 ℃,但在东海冬季,合理范围可能收紧到 5~20 ℃;若沿用全球阈值,一次寒潮导致的 4 ℃ 异常低温就会被漏判。

第四,元数据与数据同等重要。缺少时间基准、坐标基准、单位或校准记录的观测值,即使数值本身正确,也无法参与跨源比较。标准化处理应把元数据完整性作为独立的验收项,而不是附带的说明文字。

第五,规则版本化。QC 方案、阈值表、检验顺序都应记录版本号。当阈值调整后,历史数据的标志含义会变化,没有版本记录就无法解释差异。

三、落到操作:一次温盐数据的标准化处理

以下以一个假想的 CTD 剖面序列为例说明处理过程,参数均为教学示例,不代表任何实际观测结果。

假设某浮标提供逐小时表层水温与盐度,时间跨度 30 天,共 720 条记录。处理时按 QARTOD 顺序逐项执行:

  1. 时序与位置检验:检查时间戳是否单调递增、有无重复;经纬度是否落在浮标布放点 0.05° 范围内;由相邻定位推算的漂移速度是否超过 3 m/s。示例中发现 2 条记录时间戳重复,标志置为 3(可疑),保留原值。
  2. 全局范围检验:水温合理区间设为 −2~40 ℃,盐度设为 0~42。示例中 1 条盐度记录为 45.6,判为 4(失败),置为缺失。
  3. 气候学范围检验:按月份与海域设定水温 8~30 ℃、盐度 28~35.5。示例中 3 条水温在 31~32 ℃,判为 3(可疑)。
  4. 尖峰检验:以相邻三点中值比较,偏差超过 2 ℃ 判可疑。示例中 1 条水温由 24.1 ℃ 跳至 27.8 ℃ 再回落,判为 3。
  5. 内部一致性检验:用温盐关系粗查,盐度异常伴随温度异常时提高可疑等级。

处理完成后,输出文件中每个变量都带一个同维度的 qc_flag 变量,属性中写明检验方案名称、版本、阈值来源与执行时间。这样,后续使用者既可以只用标志为 1 的数据做统计,也可以保留可疑值做敏感性分析。

判断处理是否达标的实用标准:随机抽取 20 条被标为可疑或失败的记录,能否仅凭文件内的元数据与标志说明,复现出当初的判定理由。若不能,说明元数据或规则记录仍不完整。

四、常见偏差与纠正

实践中三类偏差最普遍。其一是只做范围检验,忽略尖峰与变化率检验,导致传感器瞬时跳变被当作真实信号。其二是阈值全球通用,在极区或近岸低盐区产生大量误判。其三是标志与数据分离存放,一旦文件被单独分发,标志丢失,数据重新变成“无质量信息”的裸值。纠正办法分别是:按 QARTOD 完整执行检验序列;建立分海域、分季节的阈值表并版本化;坚持标志与数据同文件、同维度输出。

归根结底,标准化处理的核心不是追求“干净的数据”,而是产出“带有明确质量语义和完整来历的数据”。规范依据的价值,正在于让这套语义在不同机构之间保持一致,使海洋观测数据真正具备长期复用和跨源融合的基础。