4、数据采集与准备：包装产线数据源（传感器、MES、ERP、手工记录）、数据采集频率与粒度、数据清洗、缺失值处理、异常值检测

包装产线的产能优化，本质上是一场“数据驱动的决策革命”。然而，任何高级的数学模型或优化算法，其效果的天花板都取决于输入数据的质量。如果数据采集不完整、粒度不匹配、清洗不彻底，后续的瓶颈分析、OEE计算和预测性维护都将成为“空中楼阁”。本章将系统拆解包装产线数据采集与准备的完整链路，从多源异构数据的识别，到采集频率与粒度的权衡，再到数据清洗与异常值处理的实战方法，帮助学员建立一套可落地的数据预处理框架。

4.1 包装产线数据源全景：从物理信号到业务语义

包装产线的数据源具有典型的“多源异构”特征。要构建有效的产能优化模型，首先必须对数据源进行系统盘点与分类。根据数据产生的物理位置和业务层级，我们可以将数据源划分为四个主要层次：设备感知层、过程控制层、业务管理层和人工记录层。

4.1.1 核心原理：四层数据源架构

设备感知层是数据链路的“神经末梢”，主要包括安装在包装机、贴标机、封箱机、码垛机器人等设备上的传感器。这些传感器采集的数据包括：主轴转速（RPM）、包装膜张力（N）、封口温度（℃）、气压（MPa）、振动加速度（mm/s²）、光电传感器计数（件/分钟）等。这些高频物理信号通常通过PLC（可编程逻辑控制器）或SCADA（数据采集与监控系统）汇聚，采样频率通常在100ms至1s之间。

过程控制层主要涉及MES（制造执行系统），它记录了工单信息、生产批次、设备状态（运行/待机/故障/换型）、停机原因代码、实际产量与废品数量。MES数据通常以“事件”形式存储，时间粒度在秒级到分钟级。业务管理层则对应ERP（企业资源计划系统），提供生产计划、物料清单（BOM）、订单交期、库存水平等宏观数据，其更新频率通常为小时级或天级。人工记录层包括质检员的抽检记录、班组长填写的交接班日志、设备维修工单等，这类数据虽然频率低（每班次或每小时），但包含了大量上下文信息，如“10:15-10:30 更换封口刀片”这类结构性停机原因。

4.1.2 判断方法：数据源成熟度评估

在项目启动阶段，建议采用“数据源成熟度矩阵”进行评估。对每个数据源，从可用性（是否可实时获取）、完整性（关键字段缺失比例）、准确性（与现场人工核对偏差）和一致性（跨系统定义是否统一）四个维度打分（1-5分）。总分低于12分的数据源需要优先进行技术改造或人工补录方案设计。

4.2 数据采集频率与粒度：精度与成本的博弈

采集频率和粒度直接决定了数据量的大小、存储成本和分析精度。对于包装产线而言，并非频率越高越好，也并非粒度越细越优。合理的策略是“按需采集、分层存储”。

4.2.1 核心原理：频率与粒度的匹配原则

采集频率应匹配设备动态特性。对于热封温度、膜张力这类变化较慢的过程变量（时间常数在秒级），1Hz的采样频率通常足够；对于光电计数、振动冲击这类瞬态信号，则需要10Hz以上的采样。粒度的选择则取决于分析目标：如果目标是整线OEE分析，分钟级粒度即可；如果目标是单机台故障诊断，则需要秒级甚至毫秒级的数据。

一个实用的设计模式是“双轨存储”：原始全量数据以高频率（如1s）写入时序数据库（如InfluxDB），保留30天；同时通过聚合计算生成分钟级和小时级的汇总表，长期保存。这样既保证了故障回溯的精度，又控制了存储成本。

4.2.2 操作流程：采集策略设计五步法

1. 明确分析目标：列出需要支持的模型（如产量预测、停机分类、能耗优化），确定每个模型所需的最小数据集。
2. 盘点现有采集能力：检查PLC/SCADA的扫描周期、MES的事件触发机制、数据库的写入性能。
3. 定义数据字典：为每个数据字段指定名称、单位、数据类型、采集频率、保留策略。
4. 实施边缘计算：在网关或边缘服务器上完成数据过滤（去除无变化的数据）、轻量聚合（计算均值/极值）和异常标记。
5. 验证与调优：运行一周后，检查数据量是否符合预期，分析结果是否对频率敏感，必要时调整采样策略。

4.2.3 案例拆解：某日化企业的频率优化实战

某洗发水灌装线，原有PLC以200ms周期上传所有标签数据，每日产生约1.2GB数据，导致数据库查询缓慢。分析发现，灌装重量（目标值500g±5g）变化缓慢，200ms采样与5s采样在统计特征上无显著差异。而封盖扭矩信号在高速运转时（600瓶/分钟）存在瞬态尖峰，需要高频捕捉。

优化方案：将灌装重量、温度等缓变信号降频至2s；封盖扭矩、振动信号保持50ms采样并增加边缘端峰值提取；增加“变化率触发”模式——当信号变化率超过阈值时临时提高采样频率。优化后，日数据量降至180MB，查询性能提升5倍，同时成功捕获了因封盖头磨损导致的扭矩异常尖峰，提前48小时预警了设备故障。

4.3 数据清洗与缺失值处理：从“脏数据”到“干净数据”

数据清洗是数据准备中最耗时、最考验功力的环节。包装产线数据常见的“脏”包括：重复记录（同一事件被多个系统记录）、格式不一致（时间戳格式不同、单位混乱）、逻辑冲突（设备状态为“运行”但产量为0）、以及大量缺失值。

4.3.1 核心原理：清洗规则与缺失值处理策略

清洗规则应基于业务逻辑和数据分布双重约束。例如，对于“产量计数”字段，可以设定合理性范围（0 ~ 设计最大速度×时间×1.2）；对于“温度”字段，可以设定物理极限（-50℃ ~ 300℃）。超出范围的值直接标记为异常。

缺失值处理需区分机制：随机缺失（传感器偶发故障）可采用插补；系统性缺失（如夜班不记录质检数据）则不能简单插补，需要单独建模或引入辅助变量。常用插补方法包括：前向填充（适用于缓慢变化的过程变量）、线性插值（适用于短时间缺失）、多重插补（适用于关键业务字段）。

4.3.2 操作流程：清洗流水线设计

# 伪代码示例：清洗流水线
def clean_packaging_data(df):
    # Step 1: 去重 - 基于时间戳+设备ID
    df = df.drop_duplicates(subset=['timestamp', 'machine_id'])
    
    # Step 2: 格式统一 - 时间戳标准化
    df['timestamp'] = pd.to_datetime(df['timestamp'], utc=True)
    
    # Step 3: 范围检查 - 物理极限过滤
    df = df[(df['temp'] > -50) & (df['temp'] < 300)]
    
    # Step 4: 缺失值处理 - 前向填充 + 标记
    df['fill_flag'] = df['pressure'].isna().astype(int)
    df['pressure'] = df['pressure'].ffill(limit=10)
    
    # Step 5: 逻辑校验 - 状态与产量一致性
    invalid = (df['status'] == 'RUN') & (df['output'] == 0)
    df.loc[invalid, 'status'] = 'UNKNOWN'
    return df

4.3.3 常见误区与复盘

• 误区一：直接删除含缺失值的整行。在包装产线中，一个传感器故障可能导致连续数小时的数据缺失，直接删除会破坏时间序列的连续性，影响后续特征提取。
• 误区二：对所有缺失值统一使用均值填充。在设备启停阶段，数据缺失往往是非随机的，均值填充会引入偏差。建议先按设备状态分组，再分别处理。
• 误区三：忽略“零值”与“缺失值”的区别。在产量计数中，0可能表示“确实没有产出”（如待料停机），也可能表示“传感器故障未计数”。需要结合设备状态字段进行区分。

4.4 异常值检测：识别真正的“噪音”与“金矿”

异常值检测是数据准备中最具挑战性的环节。在包装产线中，异常值可能来自传感器故障（需要剔除），也可能来自真实的设备微缺陷（需要保留并预警）。因此，异常检测的目标不是简单地“删除”，而是“识别并分类”。

4.4.1 核心原理：三类异常检测方法

统计方法：基于正态分布假设，使用3σ原则或四分位距（IQR）法。适用于单变量、分布稳定的信号（如稳定的灌装重量）。时序方法：考虑时间上下文，如移动平均残差、指数平滑残差。适用于有趋势或周期性的信号（如产量随班次波动）。模型方法：使用孤立森林、DBSCAN等机器学习算法，适用于多变量联合异常检测（如温度与压力同时异常）。

4.4.2 操作流程：异常值处理决策树

当检测到一个异常值时，建议按以下流程决策：首先，检查时间戳前后是否有设备状态切换（如从运行到停机），若有则可能是状态切换的瞬态响应，应保留；其次，检查同机台其他传感器是否同步异常，若同步异常则可能是真实事件（如堵料），应保留并标记；若仅单个传感器异常，则判定为传感器故障，剔除并插补。最后，对于保留的异常值，建议单独建立“异常事件表”，供后续故障诊断模型使用。

4.4.3 案例拆解：从异常值到预防性维护

某饮料包装厂的贴标机，其贴标压力传感器数据在连续30天内出现了17次短暂（持续2-3秒）的压力尖峰（超过正常值3.5倍）。按照传统做法，这些尖峰被作为“传感器毛刺”剔除。但数据分析师注意到，这些尖峰出现的时间与后续2小时内“标签褶皱”缺陷率上升存在强相关性（相关系数0.82）。

进一步调查发现，压力尖峰实际是由标签卷接头处的厚度不均引起的。当接头通过压辊时，压力瞬间升高。这是一个真实的物理信号，而非传感器故障。通过保留这些“异常值”并建立预警规则（当压力尖峰出现时，自动降低贴标速度10%），标签缺陷率从0.8%降至0.3%，每年减少废品损失约15万元。

这个案例深刻说明：异常值检测的最终目的不是“清洗数据”，而是“理解设备”。在数据准备阶段，建议为每个异常值打上标签（传感器故障/真实事件/未知），并定期复盘未知类别的占比，持续优化检测规则。