4. 数据采集与清洗工程

计划实际偏差分析的质量，首先取决于数据采集与清洗的质量。偏差分析常见的失败并不是模型不准确，而是源头数据本身不可比：计划来自 ERP 的生产订单，实际来自 MES 的报工记录，两者在时间粒度、物料编码、工序定义上并不一致；或者实际完成量来自车间手工 Excel，统计口径是“班组当班产出”，而计划口径是“工单完工入库量”。因此，采集与清洗不是简单的“把数据导进来”，而是一项需要明确对象、口径、规则和校验的工程活动。

一、三类数据源的采集特征

业务系统数据（ERP、MES、WMS、APS）通常结构化程度高、可自动抽取，但存在系统间主数据不一致、状态字段语义不同、时间戳时区或班次归属差异。例如 ERP 中工单状态为“已下达/已完工”，MES 中报工状态为“开工/暂停/完工”，同一工单在两边可能处于不同状态，直接对比会产生假偏差。

手工报表数据（Excel、共享表格、纸质记录转录）灵活但风险最高：字段命名随意、合并单元格、单位混用（件/箱/千克）、日期格式不统一、同一指标多人重复填报。采集时应先固定模板，要求必填字段、单位、时间粒度和填报人，再通过脚本或 Power Query 做结构化解析。

日志数据（设备日志、系统操作日志、接口调用日志）时间精度高、可追溯，但往往是非结构化文本，需要按规则解析出设备号、工单号、事件类型、数量和时间。日志适合补充实际进度和设备状态，但要注意日志时间与业务时间（班次、工作日历）的映射。

二、缺失、重复、异常的处理规则

缺失值要区分“真缺失”和“业务为零”。计划量为空可能是未排产，实际量为空可能是未开工，两者都不能简单补零。建议规则：计划量缺失标记为“未排产”，实际量缺失且工单状态为“已下达未开工”则补零，其余情况标记“待核实”。对于连续型指标（如设备运行时长），可用同设备同班次的中位数插补，并保留插补标记。

重复记录常见于手工报表多次提交、接口重试、日志重复写入。去重主键应结合业务确定，例如“工单号+工序号+班次+日期”或“设备号+事件时间+事件类型”。若重复记录数值不同，不能简单取第一条，应比较时间戳取最新，或按业务规则合并（如报工量累加需谨慎，避免重复累加）。

异常值可用三类规则组合判断：一是业务阈值，如单班产量超过设备额定产能的 120% 即标记异常；二是统计规则，如对同工序历史数据计算均值 μ 和标准差 σ，超出 μ±3σ 标记；三是逻辑规则，如实际完成时间早于计划开始时间、完工量大于计划量且无超产审批。异常值不应直接删除，而应标记并进入人工复核队列。

三、口径冲突的识别与统一

口径冲突是偏差分析中最隐蔽的问题。常见冲突包括：时间口径（计划按自然日，实际按班次）、数量口径（计划按工单投入量，实际按入库合格量）、状态口径（ERP“完工”指工单关闭，MES“完工”指最后一道工序报工）、组织口径（计划按车间，实际按班组）。

统一口径的做法是建立一张“指标口径映射表”，明确每个分析指标的：指标名称、计划来源字段、实际来源字段、时间粒度、单位、包含/排除范围、状态过滤条件。例如“日计划完成率”定义为：计划量取 ERP 工单在当日计划开工工序的计划数量，实际量取 MES 当日该工序合格报工数量，时间粒度统一到自然日，排除返工和报废数量。只有映射表确定后，清洗规则才有依据。

四、可执行的数据质量检查清单

清洗完成后，建议按以下清单做一次质量校验，再进入偏差计算：

以一个装配车间为例：ERP 中工单 A 计划 2024-06-03 白班完成 500 件，MES 报工记录显示白班合格 480 件、返工 15 件、报废 5 件，手工报表又填报了“班组产出 500 件”。若不做口径统一，直接用手工报表 500 对比计划 500，会得出完成率 100% 的错误结论；正确做法是实际量取 MES 合格报工 480 件，完成率 96%，返工和报废单独作为质量偏差分析。这个例子说明，采集与清洗的核心不是“拿到数”，而是“拿到可对比、可解释、可追溯的数”。

最后，清洗规则应版本化管理。每次调整缺失补零策略、异常阈值或口径映射，都要记录版本号、生效日期和影响范围，避免同一份偏差报告在不同时间得出不同结论。只有把采集、解析、清洗、校验、追溯串成一条可重复执行的工程链路，后续的计划实际偏差分析才具备可信基础。