1. 实验数据质量问题的全景诊断

实验数据修复的第一步不是“修”,而是“看清坏在哪里”。如果一上来就插值、平滑或删除异常点,往往会把真实信号一起抹掉,甚至把可诊断的系统性故障掩盖成随机噪声。因此,本章建立一张“问题全景图”:把传感器漂移、缺失值、异常点、时间戳错位、多源异构冲突五类问题放在同一分类树下,再用影响度评估矩阵判断先处理谁、后处理谁。

一、五类问题的本质区别

这五类问题常被混为一谈,但它们的产生机理、可观测特征和修复策略完全不同。

传感器漂移是缓慢的、系统性的基线偏移。典型特征是:短时间内相邻点仍平滑,但长时间尺度上均值或零点持续偏离参考值。例如某热电偶在恒温槽中本应稳定输出 25.0 ℃,实测却从 25.0 ℃ 缓慢爬升到 25.8 ℃,且与标准温度计差值随时间单调增大。漂移不是“跳变”,用异常点检测方法很难发现,必须靠趋势对比或参考通道比对。

缺失值是采样点不存在或不可用,表现为空值、NaN、占位符(如 -9999)或整段断采。关键区分是:缺失是随机的(偶发丢包),还是成块的(设备断电、通信中断)。随机缺失可用插值,成块缺失若跨越了关键工况变化,插值会伪造出从未发生的物理过程。

异常点是偏离正常模式的孤立或短时突变,如尖峰、阶跃、饱和截断。它可能是真实事件(真实压力冲击),也可能是故障(接触不良、电磁干扰)。判断依据是:该点是否与同源其他通道、物理约束或前后趋势一致。

时间戳错位是数值本身正常,但“贴错了时间”。常见形式有:多设备时钟不同步导致通道间存在固定时延、时区或夏令时错误、采样周期抖动、时间戳重复或倒退。它的隐蔽性最强——数据看起来完全正常,但一旦做多通道相关分析或积分计算,结果就系统性偏差。

多源异构冲突是同一物理量被多个来源记录,但数值、单位、量纲或语义不一致。例如温度一路是 ℃、一路是 K;压力一路是表压、一路是绝压;同一时刻两个传感器读数相差 3 ℃。冲突不等于错误,必须先判定“谁可信、以谁为基准”。

二、问题分类树

把上述五类问题组织成分类树,有助于在诊断时逐层排查,而不是凭直觉乱猜。分类树的第一层按“数据形态”划分:数值异常、时间异常、来源冲突。第二层再细分具体类型,第三层落到可观测特征与初判方法。

实验数据质量问题分类树 实验数据质量问题 数值形态异常 时间形态异常 来源一致性异常 传感器漂移 基线缓慢偏移 趋势单调偏离 异常点 尖峰/阶跃/饱和 孤立或短时突变 缺失值 空值/NaN/占位符 随机丢包或成块断采 时间戳错位 时钟不同步/时区错 重复/倒退/周期抖动 多源异构冲突 单位/量纲/语义不一致 同量多源读数矛盾 可观测特征 长时均值偏移 参考通道差值增大 短时仍平滑 可观测特征 单点/短段偏离 超物理量程 与邻点不连续 可观测特征 空值/占位符 采样间隔断裂 连续多点无记录 可观测特征 通道间固定时延 时间戳重复/倒退 周期不均匀 可观测特征 同量多源差值大 单位/量纲不符 语义定义冲突 初判方法(按优先级) ① 先查时间轴:时间戳是否单调、等间隔、跨设备对齐 → 排除时间错位 ② 再查缺失模式:随机丢包还是成块断采 → 决定能否插值 ③ 后查数值形态:趋势偏移(漂移)还是孤立突变(异常点) ④ 最后查多源一致性:单位、量纲、基准、语义是否统一

三、影响度评估矩阵

分类树回答“是什么问题”,影响度矩阵回答“先处理谁”。评估两个维度:严重度(对结论正确性的破坏程度)和可修复性(修复后能否恢复可信)。严重度分三级:致命(直接导致结论错误)、显著(使指标偏差超阈值)、轻微(影响可忽略)。可修复性分三级:可完全修复、可部分修复、不可修复只能标记。

把五类问题放入矩阵,可以得到一个实用的处理优先级:

问题类型典型严重度可修复性处理优先级
时间戳错位致命可完全修复(重对齐)最高
多源异构冲突致命/显著可部分修复(需基准判定)最高
传感器漂移显著可部分修复(需参考通道)高
成块缺失显著/致命不可修复,只能标记高
随机缺失轻微/显著可完全修复(插值)中
孤立异常点轻微/显著可完全修复(剔除/替换)中

这个排序有一个反直觉但重要的结论:时间戳错位和多源冲突优先级高于数值异常。原因是,如果时间轴本身错了,那么所有基于时间对齐的分析——相关、积分、相位、变化率——全部失效,此时修数值毫无意义。同理,如果两个来源对同一物理量给出矛盾读数,不先判定基准,后续任何融合都是错的。

四、一个诊断示例

假设某次温度-压力联合实验中,采集到三路信号:T1(热电偶,℃)、T2(铂电阻,K)、P(压力变送器,表压 kPa)。初步观察发现:T1 在 30 分钟内从 25.0 缓慢升到 25.7,T2 稳定在 298.2 K(即 25.05 ℃),P 在某一时刻出现 3 个连续 NaN,且 P 的时间戳比 T1 整体晚 2.4 s。

按分类树和矩阵诊断:

  • 时间戳错位:P 比 T1 晚 2.4 s,属于跨设备时钟不同步,优先级最高,先做时间重对齐。
  • 多源冲突:T1 与 T2 在 30 分钟内差值从 0 扩大到 0.65 ℃,且 T2 稳定、T1 单调偏移,判定 T1 存在漂移,T2 作为参考基准。
  • 缺失值:P 的 3 个连续 NaN 属于短时成块缺失,若跨越了压力变化关键段则不可插值,应标记为无效区间。
  • 异常点:本例中未发现孤立尖峰,暂不处理。

诊断结论:先重对齐 P 的时间戳,再以 T2 为基准对 T1 做漂移校正,最后标记 P 的缺失区间。这个顺序不能颠倒——如果先对 T1 插值或平滑,漂移会被部分掩盖,反而更难识别。

诊断原则:先时间、后来源、再数值。时间轴是所有分析的地基,来源一致性是融合的前提,数值修复是最后一步。任何跳过前两步直接修数值的做法,都可能把系统性问题误判为随机噪声。

五、诊断记录表

为了让诊断可追溯、可复核,建议每次诊断填写一张记录表。字段不必多,但必须覆盖“问题定位—证据—判定—优先级”四要素。

【实验数据质量诊断记录】
实验编号:EXP-2024-0317        诊断人:___        日期:____

通道清单:
  T1  热电偶  ℃   采样率 1 Hz
  T2  铂电阻  K   采样率 1 Hz
  P   压力变送器 表压 kPa  采样率 10 Hz

问题记录:
  1. 时间戳:P 相对 T1 滞后 2.4 s(证据:互相关峰值偏移)
     判定:跨设备时钟不同步    优先级:最高
  2. 多源冲突:T1 与 T2 差值 30 min 内由 0 增至 0.65 ℃
     判定:T1 漂移,T2 为基准    优先级:高
  3. 缺失值:P 在 14:23:10–14:23:12 连续 3 点 NaN
     判定:短时成块缺失,跨越压力上升段,不可插值
     处理:标记为无效区间    优先级:高
  4. 异常点:未检出

处理顺序:时间重对齐 → T1 漂移校正 → P 缺失区间标记
复核人:___        复核结论:___

这张表的价值在于:它把“我觉得数据有问题”变成“哪一路、什么类型、证据是什么、先处理谁”。当实验规模扩大到几十路通道时,没有这张表,诊断就会退化成凭印象排序。

本章建立的全景诊断框架,是后续所有修复操作的前置条件。分类树帮你定位问题类型,影响度矩阵帮你排定优先级,诊断记录表帮你留下可复核的证据链。三者配合,才能让数据修复从“经验驱动”走向“证据驱动”。