4. 数据源盘点与采集方案设计
多工厂对标看板的第一道难关不是可视化,而是“数据从哪来、多久来一次、谁来负责、错了怎么办”。如果跳过数据源盘点直接做看板,往往会出现三类问题:指标口径对不上、数据更新频率与业务节奏不匹配、异常数据无人认领。本节围绕 MES、ERP、SCADA、手工报表四类典型数据源,讲清如何盘点、如何设计采集频率与粒度、如何指定责任人,以及如何建立校验规则。
一、四类数据源的定位与典型数据
多工厂场景下,数据源通常呈现“底层自动化—执行层—管理层—补充层”的层次结构。理解每类数据源的定位,是设计采集方案的前提。
- SCADA(数据采集与监控系统):位于设备与产线层,采集秒级到分钟级的实时信号,如设备运行状态、节拍、温度、压力、能耗、报警。特点是高频、时序性强、单点数据量大,但通常不直接承载业务口径。
- MES(制造执行系统):位于车间执行层,管理工单、工序、产量、良率、在制品、停机原因。特点是按工单/批次/班次组织,粒度到工序或产品,是产量与效率类指标的主要来源。
- ERP(企业资源计划):位于经营管理层,管理订单、库存、采购、成本、交付。特点是按单据和会计期间组织,更新频率低(日或班次),是交付、库存、成本类指标的来源。
- 手工报表:用于系统未覆盖或口径特殊的场景,如临时质量抽检、能源抄表、异常事件记录。特点是灵活但易出错,必须配套模板与校验。
盘点的核心动作是“指标反查数据源”:先列出看板要展示的指标,再逐个追问“这个指标由哪个系统的哪个字段/表/接口产生”。例如“OEE”需要 MES 的产量与良率、SCADA 的设备运行时间、以及停机原因分类,三者缺一不可。
二、采集频率与粒度的设计原则
频率和粒度不是越细越好,而是要与“业务决策节奏”和“系统承载能力”匹配。设计时遵循三条原则:
- 频率对齐决策周期:班前会看的是上一班次数据,频率到班次即可;实时调度看的是分钟级,才需要 SCADA 高频采集。若把 ERP 的日数据硬拉到分钟级刷新,只会增加无效负载。
- 粒度对齐分析维度:对标看板通常需要“工厂—车间—产线—工序”四级下钻。采集粒度至少要覆盖到最细的分析维度,否则无法下钻。例如 MES 若只按车间汇总,就无法做产线级对标。
- 保留原始时间戳:无论聚合到哪个粒度,都要保留原始采集时间戳和工厂编码,便于回溯与跨厂对齐。
下表给出一组示例参数(属于合理假设,实际需按工厂系统能力调整):
| 数据源 | 采集频率 | 采集粒度 | 典型字段 | 责任人 |
|---|---|---|---|---|
| SCADA | 1 分钟 | 设备/点位 | 运行状态、节拍、能耗 | 设备工程师 |
| MES | 15 分钟 | 工单/工序 | 产量、良率、停机原因 | 生产计划员 |
| ERP | 1 班次 | 订单/物料 | 交付、库存、成本 | 财务/供应链 |
| 手工报表 | 1 班次或 1 日 | 班组/事件 | 抽检、抄表、异常 | 班组长 |
三、校验规则:让异常数据“自己暴露”
采集方案如果没有校验,看板就会变成“垃圾进、垃圾出”。校验规则建议分四类,并在采集层落地:
- 完整性校验:必填字段非空、记录数不低于阈值。例如某工厂 MES 每 15 分钟应产生至少 1 条工单记录,若连续 2 个周期为 0,触发“数据缺失”告警。
- 一致性校验:跨系统同指标偏差不超过设定阈值。例如 MES 产量与 ERP 入库量按班次对比,偏差超过 2% 时标记待核查。
- 合理性校验:产量不超过产能上限、良率在 0~100% 之间、能耗不为负。超出范围直接拦截并记录。
- 时效性校验:超过约定时间未到达的数据,标记为“数据延迟”,并在看板上以灰色显示,避免误判为真实低值。
校验规则要“可配置、可追溯”:每条规则记录规则编号、适用数据源、阈值、触发动作(拦截/告警/标记)和责任人,便于后续调整。
四、从盘点表到采集方案:一份可执行的示例
把上述内容落成一份“数据源盘点与采集方案表”,是本节最直接的交付物。示例字段如下(可按工厂实际增删):
数据源盘点与采集方案表(示例)
--------------------------------------------------------------
指标名称 数据源 字段/接口 频率 粒度 责任人 校验规则
OEE MES workorder_qty 15min 工序 生产计划员 良率0~100%
OEE SCADA runtime_min 1min 设备 设备工程师 运行时间≥0
交付达成率 ERP delivery_qty 1班次 订单 供应链 偏差≤2%
单位能耗 SCADA energy_kwh 1min 设备 设备工程师 能耗≥0
抽检合格率 手工报表 inspect_result 1班次 班组 班组长 必填非空
--------------------------------------------------------------
填写时注意三点:一是“字段/接口”要写到具体表名或接口名,不能只写系统名;二是“责任人”要落到岗位而非部门;三是“校验规则”要能对应到上一节的四类规则之一。完成这张表后,采集方案就具备了可开发、可验收、可追责的基础。
常见误区:把“数据源盘点”做成系统清单,只列 MES、ERP、SCADA 名称,却不落到字段和责任人。这样的盘点无法支撑后续开发,也无法在数据异常时快速定位。
最后,采集方案设计完成后,建议用一个小样本做“端到端验证”:选取一个工厂、一个班次、一个指标,从源系统取数、经过采集层、通过校验规则、最终在看板上显示,确认时间戳、工厂编码、数值口径全部正确。这一步能提前暴露大部分接口与口径问题,避免上线后返工。