4. 时间序列一致性检查

海洋气象观测数据绝大多数是时间序列数据:浮标每10分钟上报一次风速风向,船舶走航时按分钟记录气温气压,岸基站按小时输出潮位与能见度。质检中有一类错误不体现在数值大小上,而体现在“时间轴”上——时间戳格式不统一、时区混用、采样间隔参差、同一时刻出现多条记录、相邻记录之间出现异常空档。这类问题会直接破坏后续的统计、插值与匹配分析,因此时间序列一致性检查是数据质量控制的第一道工序,必须在数值检查之前完成。

一、时间戳对齐:先统一表示,再谈比较

时间戳对齐的目标是让所有记录的时间字段具有相同的表示格式和相同的语义。常见的不一致包括:有的记录是“2024-03-15 08:00:00”,有的是“2024/3/15 8:00”,有的是Unix时间戳“1710460800”,还有的只精确到日。处理时统一转换为ISO 8601格式(如2024-03-15T08:00:00Z)或标准datetime对象,并明确标注时区信息。对于只精确到日的记录,应结合数据来源判断其代表当日00时、正午还是日均值,不能一律补零,否则会引入系统性偏移。

对齐还包括“时刻语义”的对齐:海洋观测中常见“整点观测”与“时段平均”两种口径。例如某浮标标注08:00的风速,实际可能是07:50—08:00的10分钟平均。若与岸基站08:00的瞬时值直接比较,就会产生口径误差。质检时应查阅元数据,把时段平均记录统一标注为区间中点或区间起点,并在数据字典中固定这一约定,全文与图示保持一致。

二、时区转换:最容易出错的一步

海洋观测涉及北京时间(UTC+8)、世界时(UTC)、船舶当地时甚至部分设备的GPS周秒。时区混用的典型症状是:某站数据在凌晨出现规律性“错位8小时”,或跨洋航次数据在换港后整体跳变。处理原则是“入库统一UTC,展示按需转换”:所有原始记录先转换为UTC并保留原始时区标记,质检与融合计算全部在UTC下进行,输出产品时再转回目标时区。

转换时要注意夏令时问题。我国不实行夏令时,但部分国际航次数据、进口设备日志可能带DST标记,转换时须依据tzdata时区数据库而非简单加减固定小时数。示例:某浮标原始记录为“2024-03-15 08:00(UTC+8)”,转换为UTC应为2024-03-15T00:00:00Z;若误当作UTC直接入库,则整条序列相对真值提前8小时,与卫星过境匹配时将全部错配。

时间序列一致性检查:四类问题与处理路径 原始观测记录 格式混杂 / 时区不明 间隔参差 / 含重复 存在时间空档 ① 时间戳对齐 统一为 ISO 8601 ② 时区转换 入库统一 UTC ③ 采样频率统一 重采样到标准间隔 ④ 重复与跳跃检测 去重 / 补缺 / 标记 一致性合格序列 等间隔 · 无重复 UTC 时间轴连续 时间轴示意(标准间隔 10 min,UTC) 00:00 00:10 00:20 00:30 00:40 00:50 01:00 重复记录 时间跳跃(缺 00:30—00:40) 间隔过密(5 min) 重复记录:同一时间戳多条,保留质量标志最高者 时间跳跃:超出容差空档,标记或插补 频率不一致:重采样统一

三、采样频率统一:重采样而非简单抽取

同一要素在不同来源的采样间隔往往不同:浮标10分钟、岸基站1小时、再分析产品1小时或6小时。统一频率时,若目标间隔比原始间隔长,应采用聚合(如10分钟→1小时取均值,并同时输出样本数);若目标间隔比原始间隔短,应采用插值(线性或样条),但必须限制插值跨度,超过最大允许空档(如2个原始间隔)则置为缺测而非强行插值。切忌用“每隔n条取一条”的简单抽取,那会丢失极值并引入相位偏差。

重采样还要处理“边界效应”:按小时聚合时,若某小时只有3条10分钟记录(正常应有6条),该小时均值代表性不足,应附加样本数标志,供后续质检判断。示例参数:目标间隔1小时,最少样本数阈值设为4,低于阈值的小时均值标记为“可疑”。

四、重复记录与时间跳跃的检测与修正

重复记录指同一观测对象、同一要素、同一时间戳出现多条记录。检测方法是对(站号、要素、时间戳)建唯一索引或分组计数,计数大于1即为重复。修正策略按优先级:优先保留质量标志为“好”的记录;质量标志相同则保留原始值完整、非缺测者;仍相同则保留先入库者并记录被剔除记录以备追溯。若重复记录数值差异显著(如风速相差超过3 m/s),不应简单取舍,而应将该时刻标记为“冲突”,转人工核查。

时间跳跃指相邻记录的时间差明显偏离标称采样间隔。检测时先由元数据确定标称间隔Δt,设定容差(如±20%Δt),逐条计算实际间隔并与容差比较。间隔大于上限即为“空档”,间隔小于下限且时间戳不同则为“过密”。空档的处理分三档:小于等于1个Δt的轻微缺失可线性插值并标记“插补”;1至3个Δt的空档只标记不插补;超过3个Δt的空档视为序列断点,分段处理,不跨断点做统计。过密记录则按重复或异常采样处理,合并或剔除。

实操建议:把上述四步写成固定质检流水线——解析时间戳→统一UTC→按标称间隔重采样→唯一性检查与间隔检查,每一步输出问题计数和样本清单。流水线顺序不可颠倒,否则时区错误会被误判为时间跳跃。

五、一个可复用的检查记录表

为使检查可追溯,建议每个数据集生成一份时间一致性检查记录,字段如下(示例数值为合理假设):

检查项判定条件示例结果处理动作
时间戳格式非ISO 860137条统一转换并记录原格式
时区标记缺失或非UTC全部UTC+8减8小时转UTC,保留原标记
采样间隔偏离标称10 min超±20%12处重采样至10 min
重复记录同站同要素同时间戳计数>15组按质量标志保留1条
时间跳跃间隔>12 min3处,最大45 min≤30 min插补标记,>30 min分段

完成上述检查后,序列才具备进入数值质检(范围检查、连续性检查、空间一致性检查)的条件。需要强调的是,时间一致性检查的修正动作必须“留痕”:每一条被转换、被剔除、被插补的记录都应写入质检日志,包含原值、新值、依据和操作时间。海洋观测数据往往需要长期归档和跨机构交换,没有留痕的“静默修正”会让后续使用者无法判断数据真实状态,其危害不亚于原始错误本身。