3. 质量数据预处理与特征工程

质量数据在进入预测模型之前，往往并不“干净”。传感器漂移、人工录入遗漏、设备通信抖动、批次切换、采样频率不一致，都会让原始数据带有缺失、异常、噪声和时间错位。如果直接把这些数据送入模型，模型学到的可能不是质量规律，而是采集缺陷。因此，预处理与特征工程的目标不是“把数据变好看”，而是把原始记录还原为可比较、可建模、可解释的质量状态表达。

本节围绕五类核心处理展开：缺失值处理、异常值检测、噪声过滤、时序对齐、质量特征构造与降维。它们不是彼此独立的步骤，而是相互影响的处理链：缺失值处理方式会影响异常检测的统计基线，噪声过滤会改变时序对齐后的波形形态，特征构造又决定了降维是否保留关键质量信息。

缺失值处理：先判断缺失机制，再选择填补策略

缺失值处理的第一步不是填补，而是判断缺失类型。若某工位传感器在特定时段整体无数据，属于系统性缺失；若仅个别点随机丢失，属于随机缺失；若缺失与质量结果本身相关（例如不合格品检测记录被跳过），则属于非随机缺失，直接填补会引入偏差。

对于连续型质量参数（如温度、压力、厚度），常用策略包括：前向填充适合缓变信号；线性插值适合短时缺失；均值/中位数填充适合随机缺失但会压缩方差；模型插值（如KNN、回归）适合缺失比例较高且与其他参数相关的情况。对于离散型质量标签，应单独设置“未知”类别，而不是强行归入合格或不合格。

示例：某注塑过程每5秒采集一次模温，共720个点，其中第300～305点缺失。若模温在相邻点变化小于0.5℃，可采用线性插值；若缺失段跨越了开模动作，则应标记为“状态切换缺失”，不插值，而是按动作段重新对齐。

异常值检测：区分“错误值”与“真实极端值”

异常值不等于错误值。质量数据中，真实的不合格品可能表现为极端参数，若一律删除，会削弱模型对缺陷的识别能力。因此，异常检测应先区分三类情况：采集错误（如传感器满量程、负值、重复值）、过程异常（如设备瞬时过载）、质量极端但真实（如真实超差）。

常用检测方法包括：3σ准则适合近似正态分布；IQR四分位距适合偏态分布；Z-score适合标准化后比较；对于时序数据，可用滑动窗口残差、EWMA控制图或孤立森林。实际工程中，建议先做单变量检测，再做多变量一致性检查，例如某点温度正常但压力同时异常，可能是设备动作而非传感器故障。

处理方式也需分级：采集错误可删除或置为缺失；过程异常可标记为“异常事件”并保留；真实极端值应保留，但可增加“是否超限”的指示特征。

噪声过滤：保留趋势，抑制高频抖动

噪声过滤的目标是抑制高频随机波动，同时不破坏真实的质量变化趋势。常用方法有移动平均、加权移动平均、指数平滑、Savitzky-Golay滤波和小波去噪。移动平均简单但会滞后；指数平滑对近期变化更敏感；Savitzky-Golay在保留峰值形状方面更好，适合光谱或曲线类质量信号。

选择滤波参数时，应结合采样频率和质量特征的时间尺度。例如，某表面粗糙度信号采样频率为100Hz，而质量关注的是每0.5秒的平均趋势，则窗口长度可设为50点。滤波后应对比原始曲线与滤波曲线的残差，若残差中仍包含明显周期性波动，说明窗口过小；若趋势被明显削平，说明窗口过大。

时序对齐：让不同来源的数据在同一时间轴上可比

质量数据常来自不同设备、不同采样频率和不同触发时刻。时序对齐要解决三个问题：时间戳统一、采样频率统一、事件对齐。时间戳统一包括时区、格式和时钟漂移校正；采样频率统一可通过重采样（上采样/下采样）实现；事件对齐则要把工艺动作（如合模、保压、冷却）与质量测量点对应起来。

常用做法是：先按统一时间基准重采样，再按工艺事件切分窗口，最后对每个窗口提取统计特征。例如，将10Hz的温度、50Hz的压力和1Hz的尺寸测量统一到100ms网格，再按“保压开始”事件对齐，形成每个周期的质量特征向量。

质量特征构造：把原始信号变成可解释的质量指标

特征构造是预处理中最能体现领域知识的一步。原始时序数据本身维度高、冗余大，直接输入模型容易过拟合。应围绕质量形成机理构造三类特征：时域特征、频域特征和工艺语义特征。

时域特征包括均值、标准差、极差、峰值、偏度、峭度、斜率、过零率等。例如，注塑保压阶段的压力标准差可反映压力稳定性，压力峰值可反映是否达到设定值。频域特征包括主频、频谱能量比、谐波幅值等，适合旋转设备振动或周期性表面质量信号。工艺语义特征则直接来自工艺事件，如“保压时间”“冷却速率”“超限次数”“批次切换后首件偏差”。

示例：某冲压过程采集压力曲线，每个冲程提取6个特征：峰值压力、压力上升斜率、保压段标准差、回程时间、超限点数、曲线下面积。这样每个冲程由一条曲线变为6维特征向量，既保留关键质量信息，又便于后续建模。

降维方法：在保留质量区分度的前提下压缩维度

当特征数量远大于样本量时，需要降维。常用方法包括主成分分析（PCA）、偏最小二乘（PLS）、线性判别分析（LDA）和基于互信息的特征选择。PCA适合无监督压缩，但主成分方向不一定与质量相关；PLS在降维时同时考虑自变量与质量标签的相关性，更适合质量预测；LDA适合分类任务，但要求类内散布矩阵可逆。

降维后必须验证质量区分度是否保留。可对比降维前后模型在验证集上的召回率、F1或均方误差。若降维后不合格品识别率明显下降，说明压缩过度，应减少主成分数量或改用有监督降维。

综上，质量数据预处理与特征工程的核心是“保真”：在去除采集缺陷的同时，保留真实的质量变异信息。缺失值处理要区分机制，异常检测要区分错误与极端，噪声过滤要保留趋势，时序对齐要统一基准，特征构造要结合工艺，降维要验证质量区分度。只有这条处理链稳定可靠，后续的预测与预警模型才有可信的输入基础。