1. 实验数据质量问题的全景诊断
实验数据修复的第一步不是“修”,而是“看清坏在哪里”。如果一上来就插值、平滑或删除异常点,往往会把真实信号一起抹掉,甚至把可诊断的系统性故障掩盖成随机噪声。因此,本章建立一张“问题全景图”:把传感器漂移、缺失值、异常点、时间戳错位、多源异构冲突五类问题放在同一分类树下,再用影响度评估矩阵判断先处理谁、后处理谁。
一、五类问题的本质区别
这五类问题常被混为一谈,但它们的产生机理、可观测特征和修复策略完全不同。
传感器漂移是缓慢的、系统性的基线偏移。典型特征是:短时间内相邻点仍平滑,但长时间尺度上均值或零点持续偏离参考值。例如某热电偶在恒温槽中本应稳定输出 25.0 ℃,实测却从 25.0 ℃ 缓慢爬升到 25.8 ℃,且与标准温度计差值随时间单调增大。漂移不是“跳变”,用异常点检测方法很难发现,必须靠趋势对比或参考通道比对。
缺失值是采样点不存在或不可用,表现为空值、NaN、占位符(如 -9999)或整段断采。关键区分是:缺失是随机的(偶发丢包),还是成块的(设备断电、通信中断)。随机缺失可用插值,成块缺失若跨越了关键工况变化,插值会伪造出从未发生的物理过程。
异常点是偏离正常模式的孤立或短时突变,如尖峰、阶跃、饱和截断。它可能是真实事件(真实压力冲击),也可能是故障(接触不良、电磁干扰)。判断依据是:该点是否与同源其他通道、物理约束或前后趋势一致。
时间戳错位是数值本身正常,但“贴错了时间”。常见形式有:多设备时钟不同步导致通道间存在固定时延、时区或夏令时错误、采样周期抖动、时间戳重复或倒退。它的隐蔽性最强——数据看起来完全正常,但一旦做多通道相关分析或积分计算,结果就系统性偏差。
多源异构冲突是同一物理量被多个来源记录,但数值、单位、量纲或语义不一致。例如温度一路是 ℃、一路是 K;压力一路是表压、一路是绝压;同一时刻两个传感器读数相差 3 ℃。冲突不等于错误,必须先判定“谁可信、以谁为基准”。
二、问题分类树
把上述五类问题组织成分类树,有助于在诊断时逐层排查,而不是凭直觉乱猜。分类树的第一层按“数据形态”划分:数值异常、时间异常、来源冲突。第二层再细分具体类型,第三层落到可观测特征与初判方法。
三、影响度评估矩阵
分类树回答“是什么问题”,影响度矩阵回答“先处理谁”。评估两个维度:严重度(对结论正确性的破坏程度)和可修复性(修复后能否恢复可信)。严重度分三级:致命(直接导致结论错误)、显著(使指标偏差超阈值)、轻微(影响可忽略)。可修复性分三级:可完全修复、可部分修复、不可修复只能标记。
把五类问题放入矩阵,可以得到一个实用的处理优先级:
| 问题类型 | 典型严重度 | 可修复性 | 处理优先级 |
|---|---|---|---|
| 时间戳错位 | 致命 | 可完全修复(重对齐) | 最高 |
| 多源异构冲突 | 致命/显著 | 可部分修复(需基准判定) | 最高 |
| 传感器漂移 | 显著 | 可部分修复(需参考通道) | 高 |
| 成块缺失 | 显著/致命 | 不可修复,只能标记 | 高 |
| 随机缺失 | 轻微/显著 | 可完全修复(插值) | 中 |
| 孤立异常点 | 轻微/显著 | 可完全修复(剔除/替换) | 中 |
这个排序有一个反直觉但重要的结论:时间戳错位和多源冲突优先级高于数值异常。原因是,如果时间轴本身错了,那么所有基于时间对齐的分析——相关、积分、相位、变化率——全部失效,此时修数值毫无意义。同理,如果两个来源对同一物理量给出矛盾读数,不先判定基准,后续任何融合都是错的。
四、一个诊断示例
假设某次温度-压力联合实验中,采集到三路信号:T1(热电偶,℃)、T2(铂电阻,K)、P(压力变送器,表压 kPa)。初步观察发现:T1 在 30 分钟内从 25.0 缓慢升到 25.7,T2 稳定在 298.2 K(即 25.05 ℃),P 在某一时刻出现 3 个连续 NaN,且 P 的时间戳比 T1 整体晚 2.4 s。
按分类树和矩阵诊断:
- 时间戳错位:P 比 T1 晚 2.4 s,属于跨设备时钟不同步,优先级最高,先做时间重对齐。
- 多源冲突:T1 与 T2 在 30 分钟内差值从 0 扩大到 0.65 ℃,且 T2 稳定、T1 单调偏移,判定 T1 存在漂移,T2 作为参考基准。
- 缺失值:P 的 3 个连续 NaN 属于短时成块缺失,若跨越了压力变化关键段则不可插值,应标记为无效区间。
- 异常点:本例中未发现孤立尖峰,暂不处理。
诊断结论:先重对齐 P 的时间戳,再以 T2 为基准对 T1 做漂移校正,最后标记 P 的缺失区间。这个顺序不能颠倒——如果先对 T1 插值或平滑,漂移会被部分掩盖,反而更难识别。
五、诊断记录表
为了让诊断可追溯、可复核,建议每次诊断填写一张记录表。字段不必多,但必须覆盖“问题定位—证据—判定—优先级”四要素。
【实验数据质量诊断记录】
实验编号:EXP-2024-0317 诊断人:___ 日期:____
通道清单:
T1 热电偶 ℃ 采样率 1 Hz
T2 铂电阻 K 采样率 1 Hz
P 压力变送器 表压 kPa 采样率 10 Hz
问题记录:
1. 时间戳:P 相对 T1 滞后 2.4 s(证据:互相关峰值偏移)
判定:跨设备时钟不同步 优先级:最高
2. 多源冲突:T1 与 T2 差值 30 min 内由 0 增至 0.65 ℃
判定:T1 漂移,T2 为基准 优先级:高
3. 缺失值:P 在 14:23:10–14:23:12 连续 3 点 NaN
判定:短时成块缺失,跨越压力上升段,不可插值
处理:标记为无效区间 优先级:高
4. 异常点:未检出
处理顺序:时间重对齐 → T1 漂移校正 → P 缺失区间标记
复核人:___ 复核结论:___
这张表的价值在于:它把“我觉得数据有问题”变成“哪一路、什么类型、证据是什么、先处理谁”。当实验规模扩大到几十路通道时,没有这张表,诊断就会退化成凭印象排序。
本章建立的全景诊断框架,是后续所有修复操作的前置条件。分类树帮你定位问题类型,影响度矩阵帮你排定优先级,诊断记录表帮你留下可复核的证据链。三者配合,才能让数据修复从“经验驱动”走向“证据驱动”。