4. 试验数据预处理

试验数据在进入对标之前,几乎不可能直接使用。传感器采集到的原始信号往往同时叠加了高频噪声、工频干扰、零点漂移、趋势项、偶发尖峰,甚至不同通道之间还存在采样率不一致、单位不统一的问题。如果把这些“脏数据”直接送进仿真对标流程,误差会被误判为模型偏差,后续的参数辨识和模型修正都会建立在错误的基础上。因此,数据预处理不是可选的“美化”步骤,而是对标可信度的第一道保障。

本节围绕六个核心处理环节展开:去噪、滤波、去趋势、异常值剔除、重采样与单位统一。它们之间存在明确的先后逻辑,处理顺序不当会互相破坏效果。下面先给出整体处理链,再逐项说明实际做法与判断依据。

试验数据预处理链:从原始信号到对标可用数据 原始采集信号 噪声+趋势+尖峰 多采样率/多单位 ① 异常值剔除 3σ / MAD / 中值 剔除或插值替换 ② 去趋势 多项式/滑动均值 消除零点漂移 ③ 滤波 低通/带通/陷波 截止频率选择 ④ 去噪 小波/EMD/平滑 保留有效频段 ⑤ 重采样 统一采样率 抗混叠滤波 ⑥ 单位统一 量纲/坐标/符号 与仿真一致 对标可用数据 干净/同率/同单位 可直接与仿真比对 关键原则: • 先剔除异常值,再做滤波与去噪——否则尖峰会污染滤波器输出,产生虚假振荡。 • 去趋势应在滤波之前或与滤波协同——趋势项会拉偏低通滤波的基线,影响截止频率判断。 • 重采样必须带抗混叠滤波——直接抽取会引入混叠,使高频噪声折叠到低频有效频段。 • 单位统一放在最后——所有数值处理完成后,再统一量纲、坐标方向和符号约定,避免中途换算引入误差。

异常值剔除:先清“坏点”,再谈滤波

异常值通常来自传感器瞬时饱和、电磁干扰、通信丢包或人为触碰。它们的特点是幅值远超正常范围、持续时间极短、与前后数据不连续。如果先做低通滤波,尖峰会通过滤波器产生振铃,把污染扩散到邻近采样点,反而扩大了异常影响范围。因此异常值剔除必须放在滤波之前。

工程上常用的判断方法有三种。第一种是3σ准则:计算数据的均值μ和标准差σ,将超出μ±3σ的点判为异常。它实现简单,但要求数据近似正态分布,且均值和标准差本身会被异常值拉偏。第二种是MAD(中位数绝对偏差):先求中位数,再求各点与中位数之差的绝对值的中位数,以1.4826×MAD作为稳健标准差,超出中位数±3×1.4826×MAD的点判为异常。MAD对异常值不敏感,更适合含尖峰的试验数据。第三种是滑动窗口中值滤波:在局部窗口内用中值替代当前点,适合连续小段异常。

剔除后的处理有两种选择:直接置为NaN并在后续插值填补,或用线性插值、样条插值替换。对于对标用途,建议记录被剔除点的位置和数量,如果某通道异常点占比超过5%,应检查传感器或采集链路,而不是简单修补。

去趋势与滤波:分离“慢漂移”和“快噪声”

去趋势针对的是低频漂移,典型来源包括传感器温漂、积分器零漂、电荷放大器泄漏。它的表现是信号整体缓慢偏离基线,在时域上像一条弯曲的“慢线”。常用方法有两种:多项式最小二乘拟合后减去拟合曲线,或滑动均值估计基线后减去基线。多项式阶次一般取1~3阶,阶次过高会把真实低频动态也去掉。判断依据是:去趋势后的信号在无激励段应回到零附近,且不出现明显的低频残余波动。

滤波针对的是高于有效频段的噪声。选择滤波器时先明确有效信号带宽。例如某振动试验关注0~200Hz,采样率2000Hz,则可设计截止频率250Hz的低通滤波器,留出过渡带。滤波器类型可选Butterworth(通带平坦)、Chebyshev(过渡带陡但通带有纹波)或FIR(线性相位,适合对标)。如果存在50Hz工频干扰,可加陷波滤波器,但陷波会同时削弱该频率附近的真实信号,需谨慎使用。滤波后应检查幅频特性:有效频段内幅值衰减应小于0.5dB,截止频率外应快速衰减。

去噪:小波与经验模态分解

当噪声和有效信号在频域上重叠时,单纯滤波会同时削弱信号。此时可用小波去噪或EMD去噪。小波去噪的步骤是:选择小波基(如db4)、确定分解层数、对细节系数做阈值处理(软阈值或硬阈值)、重构信号。阈值通常取σ√(2lnN),其中σ为噪声标准差估计,N为数据长度。EMD去噪则是把信号分解为若干本征模态函数(IMF),将高频低能量的IMF判为噪声分量并剔除,再重构剩余分量。两种方法都需要通过对比去噪前后信号的信噪比和有效频段幅值来验证,不能只看波形“光滑”就认为效果好。

重采样与单位统一:让数据“对齐”

仿真步长和试验采样率往往不同。例如仿真步长1ms(1000Hz),试验采样率5120Hz,直接对比会因时间轴不对齐产生相位误差。重采样就是把试验数据降到与仿真一致的采样率。降采样前必须做抗混叠低通滤波,截止频率取新采样率的一半以下。例如降到1000Hz,截止频率应低于500Hz,通常取400Hz。升采样则用插值(线性、样条或sinc插值),并注意插值会引入平滑效应。重采样后应检查时间戳是否严格等间隔,避免累积误差。

单位统一包括量纲、坐标方向和符号约定。例如试验测得加速度单位为g,仿真输出为m/s²,需乘以9.80665换算;试验位移以向下为正,仿真以向上为正,需整体取反;角度单位从度转为弧度。这些换算必须在预处理阶段一次性完成,并在数据头中记录换算系数和方向定义,避免后续对标时反复确认。建议在预处理脚本中维护一张“通道映射表”,记录每个通道的原始单位、目标单位、换算公式、坐标方向和符号,作为可追溯的交付物。

预处理完成后,建议做一次“对标前自检”:检查各通道采样率是否一致、时间戳是否等间隔、单位是否与仿真一致、异常点占比是否可接受、去趋势后零段是否归零、滤波后有效频段幅值是否保留。任何一项不通过,都应回到对应环节修正,而不是带着问题进入对标。

整个预处理链的顺序可以概括为:异常值剔除 → 去趋势 → 滤波 → 去噪 → 重采样 → 单位统一。这个顺序不是绝对的,例如当噪声和趋势耦合严重时,可先做一次粗滤波再去除趋势,但核心原则不变:先处理会污染后续步骤的“坏点”和“慢漂移”,再处理频段分离,最后做时间轴和量纲对齐。每一步都应保留处理前后的对比数据和参数记录,使预处理过程可复现、可审计,为后续的仿真对标提供可信的输入基础。