4. 实验自动化中的多源数据同步与预处理
在实验自动化系统中,数据往往来自多个异构源:PLC 采集的阀门开关状态、DAQ 板卡采集的应变/电压信号、串口温控器回传的温度、相机输出的图像时间戳、以及上层调度软件写入的实验批次号。这些数据在进入分析或闭环控制之前,必须先解决四个问题:时间是否对齐、噪声是否可接受、缺失是否被合理填补、量纲是否统一。本节围绕这四类处理展开,并给出可直接参考的实现方式与判断依据。
一、时间同步:先统一时基,再谈对齐
多源数据同步的第一步不是插值,而是确认所有设备使用同一时间基准。工程上常见三种时基:设备本地时钟、上位机系统时钟、以及外部授时(NTP/PTP/IRIG-B)。若各设备时钟独立运行,即使采样率相同,长时间运行后也会产生秒级漂移。因此推荐做法是:所有采集节点在启动时通过 NTP 与上位机对时,并在每条数据记录中同时写入设备时间戳与上位机接收时间戳,便于事后诊断。
时间对齐通常分两步:先做粗对齐(按实验批次号或触发信号划分区间),再做细对齐(重采样到统一时间栅格)。例如将 100 Hz 的应变信号与 1 Hz 的温度信号统一到 10 Hz 栅格:温度用零阶保持(前向填充),应变用线性插值或抗混叠抽取。需要注意:降采样前必须先低通滤波,否则高频噪声会折叠进低频段,这一点在振动类实验中尤为关键。
二、滤波与去噪:区分“有用频带”和“干扰”
滤波不是越强越好,关键是先明确信号的有效频带。以应变测量为例,若关注的是 0.5~10 Hz 的结构响应,而工频 50 Hz 及其谐波、开关电源噪声、机械振动高频分量都属于干扰,则可设计截止频率 20 Hz 的二阶巴特沃斯低通滤波器。巴特沃斯在通带内平坦,适合保留幅值精度;若更在意相位延迟,可改用贝塞尔滤波器。
对于偶发的尖峰(如电磁干扰导致的单点跳变),低通滤波效果有限,更适合用中值滤波:取窗口长度 5,将窗口内中位数作为输出,可有效剔除孤立野值而不明显改变阶跃响应。实际工程中常采用“中值滤波去尖峰 + 低通滤波平滑”的串联结构。判断滤波是否合理,可观察滤波前后信号的均方根误差与相位滞后:若滤波后阶跃响应上升时间明显变长,说明截止频率过低,可能影响闭环控制的实时性。
三、缺失值处理:先判断缺失机制,再选择策略
缺失值不能一律插值。应先区分三类机制:完全随机缺失(如偶发丢包)、随机缺失(与某些可观测变量相关)、非随机缺失(如传感器超量程后停止输出)。对于短缺口(连续缺失点数小于采样率的 1%),可用线性插值或样条插值;对于长缺口,应保留缺失标记,避免用插值伪造出并不存在的动态过程。
一个实用的判断规则是:若某通道连续缺失超过 0.5 s(在 10 Hz 栅格下即 5 个点),则将该段标记为 NaN 并记录缺失区间,后续分析时按有效段处理;若缺失比例超过整段数据的 5%,应在实验报告中标注该通道数据质量存疑。这样既保证了数据完整性,又不掩盖真实问题。
四、标准化:让不同量纲的通道可比
多源数据中,温度可能是 20~80 ℃,应变可能是 -500~500 με,压力可能是 0~10 MPa。若直接送入 PCA、聚类或神经网络,量纲大的通道会主导结果。常用两种标准化方式:
- Z-score 标准化:
x' = (x - μ) / σ,适合近似正态分布的数据,保留异常值影响。 - Min-Max 归一化:
x' = (x - min) / (max - min),适合边界明确的数据,但对异常值敏感。
需要特别注意的是:标准化参数必须只用训练集或基线段计算,再应用到验证集和在线数据,否则会造成信息泄漏。在闭环实验中,建议用实验开始前的稳定段(如前 30 s)计算 μ 和 σ,之后固定使用,这样在线推理时不会因为实时数据分布变化而反复改变尺度。
五、一个可参考的预处理参数表
下表给出某振动台实验的示例参数配置,用于说明各环节如何落地。参数为教学示例,实际应根据采样率、信号带宽和噪声水平调整。
| 处理环节 | 对象 | 参数/方法 | 判断依据 |
|---|---|---|---|
| 时间同步 | 全部通道 | NTP 对时 + 重采样至 10 Hz | 时间戳偏差 < 10 ms |
| 去尖峰 | 应变、压力 | 中值滤波,窗口 5 | 野值剔除,阶跃保持 |
| 低通滤波 | 应变 | 二阶巴特沃斯,fc=20 Hz | 通带平坦,相位滞后可接受 |
| 缺失值 | 温度 | 短缺口线性插值,长缺口标记 NaN | 缺失率 < 5% |
| 标准化 | 全部数值通道 | Z-score,基线前 30 s 统计 | 均值≈0,标准差≈1 |