3. 任务载荷数据预处理

任务载荷数据在采集、传输和存储过程中,几乎不可能保持“干净”。光电吊舱的帧同步丢包、合成孔径雷达回波的脉冲丢失、电子侦察接收机的瞬时饱和、遥测链路的误码,都会让原始数据出现缺失、毛刺、量纲不一、时间戳漂移等问题。异常检测算法对输入质量极为敏感:一段被尖峰污染的振动信号可能被误判为结构损伤,一组未对齐的多源数据可能让融合模型输出完全错误的结论。因此,预处理不是可选的“清洗步骤”,而是决定后续检测与恢复能否成立的前置条件。本节围绕缺失值处理、噪声抑制、归一化、时间对齐、滑动窗口构建和数据质量评估指标六个环节展开,并给出可操作的参数与判断依据。

缺失值处理:先判断缺失机制,再选择填补策略

缺失值处理的第一步不是填补,而是判断缺失属于哪种机制。若缺失由传感器随机丢包造成,且与数据本身无关,属于完全随机缺失(MCAR),此时均值、中位数或线性插值通常可接受;若缺失与载荷工作状态相关,例如电子侦察设备在强信号饱和时主动丢弃样本,属于非随机缺失(MNAR),简单插值会系统性低估真实分布,应引入状态标记或使用模型化填补。工程上常用三类方法:删除法适用于缺失比例低于5%且样本量充足的情况;统计插值法(线性、样条、最近邻)适用于短时连续缺失;模型预测法(如基于前后时刻的卡尔曼预测或轻量回归)适用于长时缺失或强相关通道。

以某型光电吊舱的俯仰角速率数据为例,采样率100 Hz,某段连续丢失12个点(约120 ms)。若采用线性插值,需确认该时段内载机未发生剧烈机动;若采用三次样条,需至少4个有效点作为边界。实际处理时建议同时输出一个与原始序列等长的缺失掩码(0/1),后续滑动窗口和检测模型可据此屏蔽不可信区间,而不是把填补值当作真实观测。

噪声抑制:区分高频毛刺与真实高频成分

噪声抑制的核心矛盾是“去噪”与“保真”。任务载荷中常见的噪声包括高斯白噪声、脉冲尖峰和周期性干扰。对高斯噪声,滑动平均和低通滤波简单有效,但会引入相位滞后;对脉冲尖峰,中值滤波更合适,窗口长度取3或5即可抑制单点跳变而不明显平滑阶跃;对周期性干扰,可采用陷波滤波或谱减法。若信号本身含有真实高频成分(如发动机振动的高次谐波),盲目低通会削弱故障特征。

实操中建议先做频谱观察:若噪声集中在某一频段且与信号主频分离,用带通或陷波;若噪声为宽带且幅值远小于信号,用Savitzky-Golay滤波可在平滑的同时保留峰形。参数上,Savitzky-Golay的窗口长度取信号最短特征周期的1/3~1/2,多项式阶数取2~3。处理前后应计算信噪比变化和峰值保持率,若峰值保持率低于90%,说明滤波过度,需要减小窗口或降低阶数。

归一化:让不同量纲的载荷通道可比

任务载荷往往同时包含电压、角度、频率、功率等多量纲数据。归一化的目的是消除量纲和数值范围差异,使距离度量、梯度下降和阈值判断不被大量纲通道主导。常用方法有最小-最大归一化、Z-score标准化和鲁棒归一化。最小-最大将数据映射到[0,1],适合边界明确的信号;Z-score使均值为0、标准差为1,适合近似高斯分布;鲁棒归一化使用中位数和四分位距,适合存在离群点的数据。

关键细节是:归一化参数必须只用训练集统计量计算,再应用到验证集和测试集,否则会造成信息泄漏。例如某载荷通道训练集均值为2.5、标准差为0.8,测试集均值为3.1,若用测试集自身统计量归一化,模型评估会偏乐观。对于在线检测,应维护滑动统计量并定期更新,同时记录参数版本,便于回溯。

时间对齐:多源数据融合的前提

多载荷数据通常来自不同传感器,采样率和起始时刻不同。时间对齐包括时间戳对齐和采样率统一。时间戳对齐可采用最近邻匹配、线性插值或重采样到统一时间栅格。若两路数据存在固定延迟,应先估计延迟再补偿;若延迟随时间漂移,需分段估计。采样率统一通常采用重采样,升采样用插值,降采样用抗混叠滤波后抽取。

以100 Hz的IMU数据和10 Hz的GPS数据为例,若要以IMU为主时间轴,可将GPS线性插值到每个IMU时刻;若要以GPS为主,则对IMU做降采样,但必须先做低通滤波,截止频率取GPS采样率的一半以下,避免混叠。对齐后应检查时间戳单调性和最大对齐误差,通常要求对齐误差小于主采样周期的1/2。

滑动窗口构建:把时序数据变成可学习的样本

异常检测模型通常需要固定长度的输入。滑动窗口将连续时序切分为重叠或非重叠的片段。窗口长度应覆盖至少一个完整异常周期,步长决定样本重叠率和计算量。若异常持续时间为0.5 s,采样率100 Hz,则窗口长度至少50点,建议取64或128点并配合50%重叠。窗口过短会丢失上下文,过长会稀释异常特征并增加延迟。

构建时还需处理边界:序列开头和结尾不足一个窗口时,可丢弃、补零或使用反射填充。补零会引入虚假突变,反射填充更适合周期性信号。每个窗口应附带起始时间戳、通道掩码和标签(若为监督任务),便于后续追溯。

数据质量评估指标:用数字判断预处理是否合格

预处理完成后,需要用可量化指标判断数据是否达到可用标准。常用指标包括:缺失率、信噪比、峰值保持率、时间对齐误差、窗口完整率和通道间相关性。缺失率反映数据完整性;信噪比和峰值保持率反映去噪效果;时间对齐误差反映多源同步质量;窗口完整率反映可用样本比例;通道间相关性可用于发现异常通道或错误对齐。

建议设定阈值:缺失率低于5%,信噪比提升不低于3 dB,峰值保持率不低于90%,时间对齐误差小于主采样周期的一半,窗口完整率高于95%。若某项不达标,应回到对应环节调整参数,而不是直接进入模型训练。

任务载荷数据预处理链路与质量评估 原始载荷数据 多通道 / 多采样率 缺失值处理 插值 / 掩码标记 缺失率 < 5% 噪声抑制 中值 / Savitzky-Golay 峰值保持率 ≥ 90% 归一化 Min-Max / Z-score 训练集统计量 时间对齐 重采样 / 延迟补偿 对齐误差 < T/2 滑动窗口构建 窗口长度 / 步长 / 重叠 窗口完整率 > 95% 数据质量评估指标 缺失率 · 信噪比 · 峰值保持率 · 对齐误差 · 窗口完整率 · 通道相关性 达标 → 进入检测模型 | 不达标 → 返回对应环节调参 不达标反馈调参 示例参数(100 Hz 采样,异常持续 0.5 s): 窗口长度 64 点(0.64 s)|步长 32 点(50% 重叠)|中值滤波窗口 5 点|Savitzky-Golay 窗口 21 点、阶数 3 Z-score 归一化(训练集 μ=2.5, σ=0.8)|GPS 10 Hz 插值至 IMU 100 Hz|对齐误差阈值 5 ms

把上述六个环节串起来,预处理就形成了一条可追溯、可评估的链路:原始数据先经过缺失值处理保留可信区间,再经噪声抑制提升信噪比,随后归一化消除量纲影响,时间对齐保证多源同步,滑动窗口生成模型输入,最后用质量指标判断是否放行。任何一个环节的参数都不是拍脑袋决定的,而是由数据本身的采样率、异常持续时间和噪声特性共同约束。实际工程中,建议把每一步的参数、统计量和掩码都记录下来,形成预处理日志,这样当检测模型出现误报或漏报时,才能快速定位是数据质量问题还是模型问题。