1. 制造数据全景认知
在智能制造场景中，数据清洗与异常质量治理并不是孤立的数据处理动作，而是贯穿设备层、控制层、执行层与经营层的质量保障机制。要理解它的定位，先要建立一张“制造数据全景图”：数据从哪里来、长什么样、有什么脾气、会在哪些环节变脏，以及清洗与治理分别解决什么问题。
一、制造数据的四层来源
制造数据通常按产生位置划分为四个层次，越靠近物理过程，数据频率越高、噪声越强、时间约束越紧。
- 设备与传感器层：PLC、CNC、机器人、振动/温度/压力传感器、视觉相机、RFID。典型数据包括主轴转速、进给速度、扭矩、温度、振动加速度、电流、刀具磨损量、二维码/条码读取结果。采样频率从 1 Hz 到 50 kHz 不等，常见为毫秒级或秒级。
- 控制与过程层：SCADA、DCS、MES 采集的过程参数与工艺配方，如注塑保压压力、焊接电流电压、热处理炉温曲线、涂布厚度设定值。多为秒级到分钟级，带明确工单与批次上下文。
- 执行与业务层：MES、ERP、WMS、QMS 中的工单、物料批次、BOM、检验记录、返修记录、设备台账。频率低但结构复杂，主数据一致性要求高。
- 质量与检测层：三坐标测量机（CMM）、AOI/SPI、X-Ray、拉力测试、气密测试、人工抽检记录。数据量不大，但直接决定合格判定，是异常治理的核心证据链。
这四层数据在时间戳、单位、编码、采样节奏上并不天然对齐。例如设备层用毫秒时间戳，MES 工单用班次时间；传感器输出 0–10 V 模拟量，质量系统记录的是毫米或牛顿。清洗的第一步，往往就是把这些“不同语言”的数据对齐到同一工单、同一产品序列、同一时间轴上。
二、制造数据的类型与特点
从数据结构看，制造数据可分为三类：结构化数据（关系表、工单记录、检验结果）、半结构化数据（JSON/XML 报文、日志、设备事件流）、非结构化数据（图像、音频、视频、PDF 报告）。三类数据在清洗策略上差异明显：结构化数据重在字段校验与主键对齐，半结构化数据重在解析与模式漂移处理，非结构化数据则依赖特征提取与标注质量。
制造数据还有几个鲜明特点，直接决定了清洗与治理的难度：
- 强时序性：同一参数在不同时刻的含义可能不同，清洗必须保留时间上下文，不能简单按行处理。
- 多源异构：同一物理量可能由传感器、PLC、MES 三处记录，数值不一致时需要判定以谁为准。
- 工况耦合：温度异常可能由环境波动、设备老化或工艺切换引起，单点阈值判断容易误报。
- 标签稀缺：真实缺陷样本少，异常标注成本高，很多场景只能依赖无监督或半监督方法。
- 实时性约束：在线清洗与离线治理的目标不同，前者要求毫秒级响应，后者允许更复杂的计算。
三、典型质量挑战与清洗定位
制造数据在采集、传输、存储、使用四个环节都可能引入质量问题。常见挑战包括：
| 问题类型 | 典型表现 | 清洗/治理动作 |
|---|---|---|
| 缺失值 | 传感器断连、网络丢包导致某段时间无数据 | 插值、前向填充、标记缺失区间 |
| 异常值 | 尖峰、漂移、卡死值（如温度恒为 25.0） | 3σ/箱线图检测、物理边界校验、滑动窗口平滑 |
| 时间戳错位 | 设备时钟未同步，与 MES 工单时间偏差数分钟 | NTP 对齐、基于事件序列的时间重排 |
| 单位/量纲不一致 | 压力同时存在 bar、MPa、psi | 统一量纲、建立单位映射表 |
| 重复记录 | 同一工单被多次上报 | 主键去重、基于业务规则的合并 |
| 编码不一致 | 设备编号在 MES 与 SCADA 中不同 | 主数据映射、编码标准化 |
数据清洗解决的是“数据能不能用”的问题：把脏数据变成可信、可对齐、可计算的数据。异常质量治理解决的是“数据说明什么、该怎么办”的问题：在清洗后的数据上识别异常模式、定位根因、触发处置并验证效果。两者是前后衔接的关系，清洗是治理的输入前提，治理是清洗的价值出口。
四、一个可操作的判断示例
假设某注塑工位采集到一段保压压力数据，采样周期 100 ms，工单要求保压压力 80±2 bar。原始序列中出现连续 5 个点均为 0 bar，随后恢复。若直接按阈值报警，会触发一次“压力异常”。但结合设备状态数据发现，这 5 个点对应模具开合动作，属于正常工艺阶段。这说明：清洗阶段需要先按工单与设备状态切分有效生产区间，再在区间内做异常判定，否则会把正常工况误判为质量异常。
实际操作中，可先建立“工单—设备—时间”三元组索引，将传感器数据、PLC 状态、MES 工单对齐；再按设备状态码过滤非生产时段；最后在有效区间内计算均值、标准差与超差比例。若超差比例超过 3% 且伴随压力漂移趋势，则进入异常治理流程，触发根因排查。这个例子说明，清洗与治理不是两个独立步骤，而是共享同一套上下文约束的连续动作。