3. 良率数据采集与数据质量治理

良率分析的第一道关口不是建模，而是数据本身。生产现场每天产生的良率相关数据，来源分散、格式各异、质量参差：有的来自操作工手写的巡检记录，有的来自灌装线PLC上传的计数信号，有的来自MES系统的批次报工，还有的来自SCADA实时采集的温度、压力、封口时间等工艺参数。如果这些数据在进入分析之前没有经过采集方式确认和质量治理，后续的良率统计、趋势判断和预测模型都会建立在不可靠的基础上。本节围绕“数据从哪里来、质量怎么判断、问题怎么处理”三个层面展开。

一、三类采集方式及其数据特征

食品生产现场的良率数据采集，通常可以归为人工记录、传感器采集和MES/SCADA系统采集三条路径，它们的数据特征和风险点各不相同。

人工记录是最传统的方式，常见于巡检表、批次生产记录单、不良品登记本。操作工在交接班或固定时间点填写产量、不良数、不良类型（如封口不良、标签歪斜、净含量不足）。这类数据的优势是能记录系统无法自动识别的定性信息，例如“瓶身有轻微划痕”这类需要人眼判断的缺陷；风险在于漏填、事后补填、口径不一致（不同班次对“不良”的界定可能不同），以及时间戳精度低。

传感器采集面向连续量，例如称重传感器记录每瓶净含量、光电传感器统计通过瓶数、视觉检测系统输出剔除信号。传感器数据频率高、客观性强，但需要关注零点漂移、遮挡误触发、剔除信号与合格品计数不同步等问题。例如称重剔除装置在高速线上可能因响应延迟把合格品误判为超差品，导致不良数虚高。

MES/SCADA采集是系统级集成方式。MES通常按批次记录投入数、产出数、报废数、返工数，SCADA则按秒级或分钟级采集设备状态和工艺参数。这类数据的优势是结构化程度高、可与批次绑定，风险在于接口映射错误（如MES中的“报废”包含了非质量原因的物料损耗）、设备停机期间数据断流、以及不同系统间时间基准不一致。

二、缺失值、异常值、重复值的识别与处理

数据质量问题在良率场景中主要表现为三类：缺失、异常和重复。处理它们之前，先要能识别。

缺失值的识别相对直接：按批次或时间窗口统计关键字段的空值率。例如某灌装线一个班次应有24个批次的产出数记录，实际只有21条，说明有3个批次缺失。缺失的原因可能是设备断网、操作工未报工、系统接口超时。处理方式取决于缺失比例和缺失机制：缺失率低于5%且为随机缺失时，可对连续型工艺参数用前后时刻均值插补，对计数型良率数据用同班次同产品均值填补；缺失率较高或明显成片缺失（如整段停机期间无数据）时，不应强行插补，而应标记为“无效时段”并在良率统计中排除，避免把停机时间误算为低良率。

异常值的识别需要结合业务逻辑和统计方法。统计上常用箱线图法则（超出Q1−1.5IQR或Q3+1.5IQR）或3σ原则，但在良率数据中，业务规则往往更有效。例如净含量记录出现负值、单批次不良数大于投入数、良率大于100%、封口温度记录为常温25℃而工艺要求是180℃±5℃，这些都属于逻辑异常，应优先用规则拦截。对于统计异常，要区分“真异常”和“合理波动”：换产初期的短暂低良率可能是真实的首件调试损耗，不应简单剔除。处理上，确认是录入错误的应修正或置空，确认是设备故障导致的异常段应单独标记，无法判定的先保留并加质量标记，供后续分析时权衡。

重复值在人工记录和系统集成中都可能出现。人工记录中同一批次被两个班次各填一次，系统集成中MES与SCADA对同一产出事件重复上报，都会造成产量虚增。识别方法是按“批次号+产品编码+生产日期+关键计数”组合键去重，并检查时间戳是否在合理间隔内。处理时保留一条权威记录（通常以MES批次报工为准），其余标记为重复并排除，同时记录重复来源，便于追溯接口问题。

三、建立数据质量评估规则

零散地处理几次缺失和异常，不足以支撑长期的良率分析。需要把质量判断固化为可重复执行的规则集。一个实用的做法是为每个关键字段定义“完整性、有效性、一致性、唯一性、及时性”五类检查，并给出通过阈值。

规则建立后，建议每次数据入库时自动跑一遍检查，输出一份质量报告：各字段空值率、异常值数量、重复记录数、一致性不平衡批次数。良率分析人员拿到数据后先看这份报告，再决定是否直接使用或需要清洗。这样既避免了“拿到数据就建模”的盲目性，也让数据质量问题有据可查、可追溯。

上图把采集、检查、处理三个环节串成一条链路，可以看到质量治理不是一次性动作，而是嵌在数据进入分析之前的固定步骤。实际执行时，建议把五维规则写成可配置的检查脚本或MES中的校验规则，让每次数据入库都自动留下质量痕迹。这样当某个月良率突然下降时，分析人员能快速判断：是真实的生产问题，还是某批数据本身存在缺失或口径不一致。数据质量治理做到位，良率分析才有可信的起点。