4. 数据源盘点与采集方案设计

多工厂对标看板的第一道难关不是可视化,而是“数据从哪来、多久来一次、谁来负责、错了怎么办”。如果跳过数据源盘点直接做看板,往往会出现三类问题:指标口径对不上、数据更新频率与业务节奏不匹配、异常数据无人认领。本节围绕 MES、ERP、SCADA、手工报表四类典型数据源,讲清如何盘点、如何设计采集频率与粒度、如何指定责任人,以及如何建立校验规则。

一、四类数据源的定位与典型数据

多工厂场景下,数据源通常呈现“底层自动化—执行层—管理层—补充层”的层次结构。理解每类数据源的定位,是设计采集方案的前提。

  • SCADA(数据采集与监控系统):位于设备与产线层,采集秒级到分钟级的实时信号,如设备运行状态、节拍、温度、压力、能耗、报警。特点是高频、时序性强、单点数据量大,但通常不直接承载业务口径。
  • MES(制造执行系统):位于车间执行层,管理工单、工序、产量、良率、在制品、停机原因。特点是按工单/批次/班次组织,粒度到工序或产品,是产量与效率类指标的主要来源。
  • ERP(企业资源计划):位于经营管理层,管理订单、库存、采购、成本、交付。特点是按单据和会计期间组织,更新频率低(日或班次),是交付、库存、成本类指标的来源。
  • 手工报表:用于系统未覆盖或口径特殊的场景,如临时质量抽检、能源抄表、异常事件记录。特点是灵活但易出错,必须配套模板与校验。

盘点的核心动作是“指标反查数据源”:先列出看板要展示的指标,再逐个追问“这个指标由哪个系统的哪个字段/表/接口产生”。例如“OEE”需要 MES 的产量与良率、SCADA 的设备运行时间、以及停机原因分类,三者缺一不可。

多工厂数据源盘点与采集链路 SCADA 设备状态/节拍/能耗 秒级~分钟级 · 时序 MES 工单/产量/良率/停机 班次~小时级 · 工序 ERP 订单/库存/成本/交付 日级~班次级 · 单据 手工报表 抽检/抄表/异常事件 班次~日级 · 模板 采集层:接口/中间表/文件/人工录入 → 统一时间戳 + 工厂编码 + 数据源标识 频率:SCADA 1min | MES 15min | ERP 1班次 | 手工 1班次/日 校验规则层(四类规则) ① 完整性:必填字段非空、记录数≥阈值 ② 一致性:跨系统同指标偏差≤2% ③ 合理性:产量≤产能上限、良率0~100% ④ 时效性:超时未到标记“数据延迟” 责任人分工 SCADA:设备工程师(接口/点位) MES:生产计划员(工单/口径) ERP:财务/供应链(单据/成本) 手工报表:班组长(填报/复核) 看板管理员:口径仲裁与异常分派

二、采集频率与粒度的设计原则

频率和粒度不是越细越好,而是要与“业务决策节奏”和“系统承载能力”匹配。设计时遵循三条原则:

  1. 频率对齐决策周期:班前会看的是上一班次数据,频率到班次即可;实时调度看的是分钟级,才需要 SCADA 高频采集。若把 ERP 的日数据硬拉到分钟级刷新,只会增加无效负载。
  2. 粒度对齐分析维度:对标看板通常需要“工厂—车间—产线—工序”四级下钻。采集粒度至少要覆盖到最细的分析维度,否则无法下钻。例如 MES 若只按车间汇总,就无法做产线级对标。
  3. 保留原始时间戳:无论聚合到哪个粒度,都要保留原始采集时间戳和工厂编码,便于回溯与跨厂对齐。

下表给出一组示例参数(属于合理假设,实际需按工厂系统能力调整):

数据源采集频率采集粒度典型字段责任人
SCADA1 分钟设备/点位运行状态、节拍、能耗设备工程师
MES15 分钟工单/工序产量、良率、停机原因生产计划员
ERP1 班次订单/物料交付、库存、成本财务/供应链
手工报表1 班次或 1 日班组/事件抽检、抄表、异常班组长

三、校验规则:让异常数据“自己暴露”

采集方案如果没有校验,看板就会变成“垃圾进、垃圾出”。校验规则建议分四类,并在采集层落地:

  • 完整性校验:必填字段非空、记录数不低于阈值。例如某工厂 MES 每 15 分钟应产生至少 1 条工单记录,若连续 2 个周期为 0,触发“数据缺失”告警。
  • 一致性校验:跨系统同指标偏差不超过设定阈值。例如 MES 产量与 ERP 入库量按班次对比,偏差超过 2% 时标记待核查。
  • 合理性校验:产量不超过产能上限、良率在 0~100% 之间、能耗不为负。超出范围直接拦截并记录。
  • 时效性校验:超过约定时间未到达的数据,标记为“数据延迟”,并在看板上以灰色显示,避免误判为真实低值。
校验规则要“可配置、可追溯”:每条规则记录规则编号、适用数据源、阈值、触发动作(拦截/告警/标记)和责任人,便于后续调整。

四、从盘点表到采集方案:一份可执行的示例

把上述内容落成一份“数据源盘点与采集方案表”,是本节最直接的交付物。示例字段如下(可按工厂实际增删):

数据源盘点与采集方案表(示例)
--------------------------------------------------------------
指标名称    数据源   字段/接口        频率     粒度     责任人     校验规则
OEE         MES      workorder_qty    15min    工序     生产计划员  良率0~100%
OEE         SCADA    runtime_min      1min     设备     设备工程师  运行时间≥0
交付达成率   ERP      delivery_qty     1班次    订单     供应链      偏差≤2%
单位能耗     SCADA    energy_kwh       1min     设备     设备工程师  能耗≥0
抽检合格率   手工报表  inspect_result   1班次    班组     班组长      必填非空
--------------------------------------------------------------

填写时注意三点:一是“字段/接口”要写到具体表名或接口名,不能只写系统名;二是“责任人”要落到岗位而非部门;三是“校验规则”要能对应到上一节的四类规则之一。完成这张表后,采集方案就具备了可开发、可验收、可追责的基础。

常见误区:把“数据源盘点”做成系统清单,只列 MES、ERP、SCADA 名称,却不落到字段和责任人。这样的盘点无法支撑后续开发,也无法在数据异常时快速定位。

最后,采集方案设计完成后,建议用一个小样本做“端到端验证”:选取一个工厂、一个班次、一个指标,从源系统取数、经过采集层、通过校验规则、最终在看板上显示,确认时间戳、工厂编码、数值口径全部正确。这一步能提前暴露大部分接口与口径问题,避免上线后返工。