3. SPC数据常见脏乱形态

在SPC（统计过程控制）体系中，控制图、过程能力指数、判异准则都建立在“数据可信”的前提上。但真实产线、实验室、检测站采集到的原始数据，往往不是干净整齐的数值序列，而是混杂着缺失、重复、时间错位、量纲冲突、单位混用、手工录入错误和传感器漂移的“脏数据”。如果直接把这些数据送入X̄-R图或I-MR图，得到的失控信号可能并非过程异常，而是数据本身出了问题。因此，数据清洗的第一步不是急着填补或删除，而是识别脏乱形态并正确分类——不同形态对应不同的处理策略，误分类会导致错误结论。

一、七类常见脏乱形态及其识别特征

结合制造业SPC数据治理的工程实践，可将常见脏乱形态归纳为七类。每类都有可观察的识别特征，不能仅凭“看起来不对”就下判断。

1. 缺失值：某时间点的测量值空缺，表现为空单元格、NULL、NaN、空字符串或占位符（如“-”“/”“N/A”）。识别时要区分三种缺失机制：完全随机缺失（如设备偶发通信中断）、随机缺失（与某已知变量相关，如某班次记录习惯差）、非随机缺失（与缺失值本身相关，如超差时故意不记录）。SPC中缺失值会破坏子组大小一致性，导致X̄-R图子组容量不等，必须记录缺失位置和数量。

2. 重复记录：同一产品、同一时间点、同一测量项出现多条记录。常见来源是MES与手工台账双录入、传感器重传、数据库主键设计缺陷。识别特征是“产品序列号+时间戳+测量项”组合重复，但数值可能相同也可能不同。若数值不同，还需判断哪条是真实值，不能简单去重。

3. 时间戳错乱：时间戳格式不统一（如“2024/3/5 14:30”与“2024-03-05 14:30:00”混用）、时区不一致、时间倒序、采样间隔忽大忽小、时间戳精度丢失（只到分钟却按秒分析）。SPC控制图对时间顺序敏感，时间戳错乱会直接导致趋势判异失效。

4. 量纲不一致：同一测量项在不同数据源中使用不同量纲，例如直径有的用mm、有的用cm，温度有的用℃、有的用K。量纲不一致不是单位混用，而是数值尺度本身不同，直接合并会导致均值、极差、标准差全部失真。

5. 单位混用：同一量纲下单位不统一，如长度同时出现mm和inch，压力同时出现MPa和psi。与量纲不一致的区别在于：单位混用可通过换算统一，量纲不一致需要先确认物理量定义。识别时需检查数值范围是否出现“数量级跳变”，例如一批数据在0.5~2.0之间，突然出现0.02或25.4。

6. 手工录入错误：包括小数点错位（1.25录成12.5）、数字颠倒（36录成63）、多输/少输零、单位误填、复制粘贴串行。识别特征是数值明显偏离历史分布，但又不是传感器漂移那种渐进偏移，而是“孤立跳变”。

7. 传感器漂移：测量值随时间缓慢单向偏移，表现为控制图上连续多点同侧、缓慢爬升或下降，但过程本身未变。识别时要与真实过程漂移区分：传感器漂移通常伴随标准件复测偏差增大，而过程漂移会伴随产品特性真实变化。

二、分类判断的实操方法

识别脏乱形态不能只靠肉眼看表格。建议按以下顺序做系统排查，每一步都留下记录，便于后续追溯。

第一步：结构探查。统计每列的非空率、唯一值数量、数据类型。非空率低于95%的列要重点检查缺失机制；唯一值数量异常少（如本该连续的温度值只有3个不同值）可能意味着单位混用或录入截断。

第二步：时间轴校验。将时间戳统一转换为ISO 8601格式并排序，检查是否存在时间倒序、重复时间点、间隔突变。对SPC而言，采样间隔的稳定性直接影响移动极差和控制限，间隔突变超过±20%就应标记。

第三步：数值分布比对。对每个测量项计算均值、标准差、最小值、最大值，并与历史基线或规格限比对。若某批数据均值偏移超过2倍标准差，先怀疑量纲或单位问题，再怀疑传感器漂移。例如某轴径历史均值25.00mm，新数据均值2.50，极可能是cm与mm混用。

第四步：重复与冲突处理。对重复记录，先判断是完全重复还是冲突重复。完全重复可直接去重；冲突重复需保留原始记录并标记，不能自动取平均，因为可能掩盖真实异常。

第五步：漂移与真实过程变化区分。用标准件或核查样定期复测。若标准件读数也漂移，则是传感器问题；若标准件正常而产品数据漂移，则可能是过程真实变化。这一步是SPC数据治理中最容易被跳过、却最关键的一步。

三、常见误判与规避

实际工作中，以下误判最常发生：把传感器漂移当成过程改进（连续下降误认为良化）；把单位混用当成异常波动（数量级跳变触发失控报警）；把非随机缺失当成随机缺失直接删除（导致样本偏倚）；把重复记录简单去重（丢失冲突信息）。规避方法只有一个：先分类，再处理；分类依据要可追溯，处理动作要可回滚。

数据清洗不是一次性动作，而是SPC日常运行的一部分。建议在控制图生成前设置一道“数据体检”关卡，按上述七类形态逐项检查，确认无未处理异常后再计算控制限。这样得到的控制图，才真正反映过程状态，而不是数据状态的镜像。