4. 实验自动化中的多源数据同步与预处理

在实验自动化系统中,数据往往来自多个异构源:PLC 采集的阀门开关状态、DAQ 板卡采集的应变/电压信号、串口温控器回传的温度、相机输出的图像时间戳、以及上层调度软件写入的实验批次号。这些数据在进入分析或闭环控制之前,必须先解决四个问题:时间是否对齐、噪声是否可接受、缺失是否被合理填补、量纲是否统一。本节围绕这四类处理展开,并给出可直接参考的实现方式与判断依据。

一、时间同步:先统一时基,再谈对齐

多源数据同步的第一步不是插值,而是确认所有设备使用同一时间基准。工程上常见三种时基:设备本地时钟、上位机系统时钟、以及外部授时(NTP/PTP/IRIG-B)。若各设备时钟独立运行,即使采样率相同,长时间运行后也会产生秒级漂移。因此推荐做法是:所有采集节点在启动时通过 NTP 与上位机对时,并在每条数据记录中同时写入设备时间戳与上位机接收时间戳,便于事后诊断。

时间对齐通常分两步:先做粗对齐(按实验批次号或触发信号划分区间),再做细对齐(重采样到统一时间栅格)。例如将 100 Hz 的应变信号与 1 Hz 的温度信号统一到 10 Hz 栅格:温度用零阶保持(前向填充),应变用线性插值或抗混叠抽取。需要注意:降采样前必须先低通滤波,否则高频噪声会折叠进低频段,这一点在振动类实验中尤为关键。

多源数据同步与预处理链路 PLC 状态量 10 Hz / 开关量 DAQ 应变信号 100 Hz / 电压 串口温度 1 Hz / ℃ 相机时间戳 30 fps / 事件 时间同步 NTP 对时 批次号粗对齐 重采样至 10 Hz 滤波与去噪 低通 20 Hz 中值滤波去尖峰 滑动均值平滑 缺失值处理 短缺口插值 长缺口标记 不伪造数据 标准化 Z-score Min-Max 量纲统一 统一时间栅格 · 干净数据矩阵 供闭环控制 / 特征提取 / 模型训练使用

二、滤波与去噪:区分“有用频带”和“干扰”

滤波不是越强越好,关键是先明确信号的有效频带。以应变测量为例,若关注的是 0.5~10 Hz 的结构响应,而工频 50 Hz 及其谐波、开关电源噪声、机械振动高频分量都属于干扰,则可设计截止频率 20 Hz 的二阶巴特沃斯低通滤波器。巴特沃斯在通带内平坦,适合保留幅值精度;若更在意相位延迟,可改用贝塞尔滤波器。

对于偶发的尖峰(如电磁干扰导致的单点跳变),低通滤波效果有限,更适合用中值滤波:取窗口长度 5,将窗口内中位数作为输出,可有效剔除孤立野值而不明显改变阶跃响应。实际工程中常采用“中值滤波去尖峰 + 低通滤波平滑”的串联结构。判断滤波是否合理,可观察滤波前后信号的均方根误差与相位滞后:若滤波后阶跃响应上升时间明显变长,说明截止频率过低,可能影响闭环控制的实时性。

三、缺失值处理:先判断缺失机制,再选择策略

缺失值不能一律插值。应先区分三类机制:完全随机缺失(如偶发丢包)、随机缺失(与某些可观测变量相关)、非随机缺失(如传感器超量程后停止输出)。对于短缺口(连续缺失点数小于采样率的 1%),可用线性插值或样条插值;对于长缺口,应保留缺失标记,避免用插值伪造出并不存在的动态过程。

一个实用的判断规则是:若某通道连续缺失超过 0.5 s(在 10 Hz 栅格下即 5 个点),则将该段标记为 NaN 并记录缺失区间,后续分析时按有效段处理;若缺失比例超过整段数据的 5%,应在实验报告中标注该通道数据质量存疑。这样既保证了数据完整性,又不掩盖真实问题。

四、标准化:让不同量纲的通道可比

多源数据中,温度可能是 20~80 ℃,应变可能是 -500~500 με,压力可能是 0~10 MPa。若直接送入 PCA、聚类或神经网络,量纲大的通道会主导结果。常用两种标准化方式:

  • Z-score 标准化:x' = (x - μ) / σ,适合近似正态分布的数据,保留异常值影响。
  • Min-Max 归一化:x' = (x - min) / (max - min),适合边界明确的数据,但对异常值敏感。

需要特别注意的是:标准化参数必须只用训练集或基线段计算,再应用到验证集和在线数据,否则会造成信息泄漏。在闭环实验中,建议用实验开始前的稳定段(如前 30 s)计算 μ 和 σ,之后固定使用,这样在线推理时不会因为实时数据分布变化而反复改变尺度。

工程提示:预处理链的顺序建议为:时间同步 → 去尖峰(中值)→ 低通滤波 → 缺失值处理 → 标准化。若先标准化再滤波,异常值会被放大;若先插值再滤波,插值引入的伪阶跃会被滤波器平滑成虚假动态,影响判断。

五、一个可参考的预处理参数表

下表给出某振动台实验的示例参数配置,用于说明各环节如何落地。参数为教学示例,实际应根据采样率、信号带宽和噪声水平调整。

处理环节 对象 参数/方法 判断依据
时间同步 全部通道 NTP 对时 + 重采样至 10 Hz 时间戳偏差 < 10 ms
去尖峰 应变、压力 中值滤波,窗口 5 野值剔除,阶跃保持
低通滤波 应变 二阶巴特沃斯,fc=20 Hz 通带平坦,相位滞后可接受
缺失值 温度 短缺口线性插值,长缺口标记 NaN 缺失率 < 5%
标准化 全部数值通道 Z-score,基线前 30 s 统计 均值≈0,标准差≈1