3. 质量数据预处理工程

质量数据分群与批次对比的结论是否可信，很大程度上不取决于聚类算法本身，而取决于进入算法之前的数据是否被“整理干净”。同一批注塑件的关键尺寸，可能来自三台不同量具、两种单位、若干班次，还夹杂着漏检、复测和手工补录。若直接把这些原始记录送进距离计算，量纲大的字段会主导相似度，缺失值会让样本被静默丢弃，异常点会把簇心拉偏，编码不一致会让同一批次被拆成两类。因此，预处理不是可选的清洗步骤，而是分群工程的第一道质量关口。

缺失值：先判断机制，再决定处理方式

缺失值处理的第一步不是填数，而是判断缺失机制。若某参数因传感器偶发掉线而随机缺失，属于随机缺失，可用中位数或同类样本均值填补；若缺失与本身取值相关，例如超差件因复测流程被跳过而缺少记录，则属于非随机缺失，直接填补会掩盖真实分布。工程上常用三种策略：删除、统计量填补、模型填补。删除适用于缺失比例低于约5%且样本量充足的情况；中位数填补稳健、抗异常值，适合尺寸类参数；模型填补（如按批次、设备、班次分组后用组内均值或回归预测）适合缺失比例较高但存在明显分层结构的场景。

需要强调的是，填补必须留下痕迹。建议新增一列 is_imputed 标记，并在后续分群时评估“填补样本是否集中落入某一簇”，若集中，说明填补引入了伪结构，应回退处理方式。

异常值识别：区分“错误”与“真实极端”

异常值不等于错误值。质量数据中的异常可能来自录入错误、量具漂移、混料或真实工艺偏移。识别方法上，单变量可用箱线图法则（IQR）与Z分数：IQR法则以 Q1−1.5×IQR 和 Q3+1.5×IQR 为界，对偏态分布更稳健；Z分数以 |z|>3 为界，适合近似正态的尺寸数据。多变量则用马氏距离或孤立森林，能发现“每个字段都正常、组合起来异常”的样本。

识别之后要分类处置：明显超出物理量程（如直径记录为负值）直接判为错误并剔除；处于工艺极限边缘但可复现的极端值应保留并单独标记，因为批次对比恰恰可能关注这类偏移。下面这张图给出了一条从原始质量记录到可入模数据的完整预处理链路，以及各环节的判断分支。

量纲统一与标准化：让不同字段可比

量纲统一解决的是“单位不同”的问题。例如长度字段中，A设备输出 mm，B设备输出 μm，C设备输出 inch，必须先换算到同一基准单位（建议统一为 mm），并记录换算系数。这一步看似简单，却常因漏换算导致某批次尺寸整体放大1000倍，在分群时被误判为独立簇。

标准化解决的是“数值范围不同”的问题。Z-score 将每个字段变换为均值0、标准差1：z = (x − μ) / σ；Min-Max 将值压缩到 [0,1]：x' = (x − min) / (max − min)。对于批次对比场景，建议按批次分别拟合标准化参数，而不是用全局参数。原因在于：若用全局均值，批次间的真实偏移会被“抹平”，分群反而看不出批次差异；按批次标准化后，批次内的相对波动被保留，批次间的系统偏移则通过批次统计量单独对比。

编码转换：统一语义，避免同义异码

类别字段的编码转换要区分名义型与有序型。设备编号、供应商、模具号属于名义型，应使用 One-Hot 编码，避免人为引入大小关系；班次早/中/晚、质量等级A/B/C属于有序型，可映射为 1/2/3，保留顺序信息。实际工程中最常见的问题是“同义异码”：同一台设备在不同记录中写成“注塑机01”“IM-01”“1号机”，若不先建立编码字典统一，分群会把它们当成三个不同对象。建议在预处理阶段维护一张编码映射表，并在批次内一致性检查中验证所有取值都落在字典范围内。

批次内一致性检查：入模前的最后一道闸

完成上述变换后，不要急于建模，应先做批次内一致性检查。检查内容包括三项：其一，同批次内所有字段的单位是否统一，是否存在漏换算；其二，编码取值是否全部命中字典，是否存在未映射的新类别；其三，同批次的均值与方差是否相对历史批次出现突变，若某批次尺寸均值偏移超过3σ，需先确认是工艺真实变化还是数据录入问题。

下面给出一份可直接参考的预处理检查表，用于逐批执行与留痕。

完成以上步骤后，数据集才真正具备进入分群与批次对比的条件。后续的距离计算、簇数选择和批次差异判定，都建立在这一步所保证的数据质量之上。