4. 标准化处理的核心原则与规范依据
海洋观测数据的标准化处理,本质上不是“把数据修得好看”,而是让不同平台、不同航次、不同机构产出的观测值,在同一套质量语言下可比较、可追溯、可复用。要做到这一点,必须同时抓住两条主线:一是质量控制流程的规范化,二是元数据的完整化。QARTOD、IOOS、GOOS 等体系正是围绕这两条主线建立的共同参照。
一、四类规范各自管什么
理解规范依据,先要分清它们的层级和分工,避免把“业务框架”和“检验算法”混为一谈。
- GOOS(全球海洋观测系统):提供观测系统的顶层框架与要素需求,界定“哪些变量、以什么时空分辨率、服务于什么应用”,是需求侧的纲领性依据。
- IOOS(美国综合海洋观测系统):在区域观测系统层面落实数据管理,强调数据发现、访问与互操作,其数据管理框架规定了元数据、数据格式与分发服务的组织方式。
- QARTOD(海洋数据实时质量控制):提供可直接落地的检验算法与标志体系,按变量(水温、盐度、海流、水位、溶解氧、波浪等)分别给出测试项目与阈值建议,是执行侧最具体的依据。
- NetCDF/CF 与 ACDD 约定:规定文件结构、变量命名、单位、坐标与属性描述,使数据在物理层面可被通用工具读取和解释。
四者的关系可以概括为:GOOS 定需求,IOOS 定数据组织与服务,QARTOD 定检验规则,CF/ACDD 定编码表达。标准化处理时,通常以 QARTOD 的检验流程为操作骨架,以 CF/ACDD 为落盘规范,以 IOOS/GOOS 的元数据要求为完整性校验清单。
二、核心原则:先定规则,再动数据
标准化处理最容易犯的错误,是拿到数据后凭经验“看着不对就删”。规范化的做法是先固化规则,再让规则作用于数据。可归纳为五条原则。
第一,可追溯。每一个被修改、被标记、被剔除的值,都必须能回答“谁、在什么时间、依据哪条规则、做了什么”。这意味着原始数据不可覆盖,处理过程以新变量或新文件形式叠加,QC 标志与数据同文件存放。
第二,分级判定而非二元取舍。QARTOD 的标志体系把结果分为通过、未评估、可疑、失败、缺失五档,而不是简单的“好/坏”。可疑值保留但标注,供后续分析按需取舍;只有明确失败的值才置为缺失。这样既避免误删真实信号,也保留了极端事件的可能性。
第三,阈值必须与海域和季节匹配。全球范围检验只能拦住明显错误,真正有效的是气候学范围检验。例如表层水温全球极值可设为 −2 ℃ 至 40 ℃,但在东海冬季,合理范围可能收紧到 5~20 ℃;若沿用全球阈值,一次寒潮导致的 4 ℃ 异常低温就会被漏判。
第四,元数据与数据同等重要。缺少时间基准、坐标基准、单位或校准记录的观测值,即使数值本身正确,也无法参与跨源比较。标准化处理应把元数据完整性作为独立的验收项,而不是附带的说明文字。
第五,规则版本化。QC 方案、阈值表、检验顺序都应记录版本号。当阈值调整后,历史数据的标志含义会变化,没有版本记录就无法解释差异。
三、落到操作:一次温盐数据的标准化处理
以下以一个假想的 CTD 剖面序列为例说明处理过程,参数均为教学示例,不代表任何实际观测结果。
假设某浮标提供逐小时表层水温与盐度,时间跨度 30 天,共 720 条记录。处理时按 QARTOD 顺序逐项执行:
- 时序与位置检验:检查时间戳是否单调递增、有无重复;经纬度是否落在浮标布放点 0.05° 范围内;由相邻定位推算的漂移速度是否超过 3 m/s。示例中发现 2 条记录时间戳重复,标志置为 3(可疑),保留原值。
- 全局范围检验:水温合理区间设为 −2~40 ℃,盐度设为 0~42。示例中 1 条盐度记录为 45.6,判为 4(失败),置为缺失。
- 气候学范围检验:按月份与海域设定水温 8~30 ℃、盐度 28~35.5。示例中 3 条水温在 31~32 ℃,判为 3(可疑)。
- 尖峰检验:以相邻三点中值比较,偏差超过 2 ℃ 判可疑。示例中 1 条水温由 24.1 ℃ 跳至 27.8 ℃ 再回落,判为 3。
- 内部一致性检验:用温盐关系粗查,盐度异常伴随温度异常时提高可疑等级。
处理完成后,输出文件中每个变量都带一个同维度的 qc_flag 变量,属性中写明检验方案名称、版本、阈值来源与执行时间。这样,后续使用者既可以只用标志为 1 的数据做统计,也可以保留可疑值做敏感性分析。
四、常见偏差与纠正
实践中三类偏差最普遍。其一是只做范围检验,忽略尖峰与变化率检验,导致传感器瞬时跳变被当作真实信号。其二是阈值全球通用,在极区或近岸低盐区产生大量误判。其三是标志与数据分离存放,一旦文件被单独分发,标志丢失,数据重新变成“无质量信息”的裸值。纠正办法分别是:按 QARTOD 完整执行检验序列;建立分海域、分季节的阈值表并版本化;坚持标志与数据同文件、同维度输出。
归根结底,标准化处理的核心不是追求“干净的数据”,而是产出“带有明确质量语义和完整来历的数据”。规范依据的价值,正在于让这套语义在不同机构之间保持一致,使海洋观测数据真正具备长期复用和跨源融合的基础。