3. 追溯数据源梳理与接入方案

食品批次追溯看板的价值,取决于它能否把分散在 ERP、MES、WMS、LIMS 四个系统中的批次信息串成一条完整链路。在动手写任何看板代码之前,必须先回答三个问题:每个系统里有哪些与批次相关的数据、这些数据通过什么方式取出来、取出来的数据质量是否足以支撑追溯。本节围绕这三个问题展开,给出可落地的调研方法与接入方案。

一、四类系统的数据职责与关键字段识别

四个系统在追溯链路中承担不同角色,识别数据源时要先明确"谁产生、谁流转、谁检验"的分工,再定位具体表与字段。

ERP(企业资源计划)是批次的主数据源头与业务凭证中心。关键数据包括:物料主数据中的批次管理标识(如物料是否启用批次管理)、采购入库单与生产订单的批次号、供应商批次与内部批次的对应关系、销售出库的批次流向。典型表如采购订单明细、生产订单、库存事务表。调研时要特别确认"批次号"在 ERP 中是独立字段还是拼接字段,以及是否存在一物料多批次编码规则并存的情况。

MES(制造执行系统)提供生产过程的批次谱系。核心是工单与批次的绑定关系、投料记录(用了哪些原料批次、投了多少)、工序流转记录、产出批次与半成品批次。MES 的投料表是构建"原料批次→成品批次"正向追溯链的关键,必须确认投料记录是否精确到批次而非仅到物料。

WMS(仓储管理系统)负责批次的位置与状态。关键数据包括批次库存、库位、出入库流水、效期与先进先出执行记录、批次冻结/解冻状态。WMS 的批次库存表能回答"某批次现在在哪、还有多少、是否被隔离"。

LIMS(实验室信息管理系统)提供批次的质量判定依据。关键数据是样品与批次的关联、检验项目与结果、判定结论(合格/不合格/待检)、检验时间与检验员。LIMS 的样品登记表必须能回溯到具体批次,否则检验结果无法挂到追溯链上。

调研时建议采用"字段清单法":对每个系统列出批次号、物料编码、时间戳、数量、状态、关联单据号六类字段的实际表名与列名,并标注是否可空、编码规则、更新频率。这份清单直接决定后续抽取脚本的写法。

二、数据库表与 API 接口调研

数据接入方式通常有两种:直连数据库抽取与调用 API 接口。选择依据是系统开放能力、数据量、实时性要求和安全约束。

直连数据库适合内部部署、表结构稳定的 ERP 与 WMS。调研时要拿到只读账号,确认目标表的更新方式(是否有更新时间戳字段、是否物理删除)、主键与索引情况,避免全表扫描拖垮生产库。对于没有更新时间戳的表,需要评估是否改用触发器日志或 CDC(变更数据捕获)方案。

API 接口适合 SaaS 化或对外暴露服务的 LIMS、部分 MES。调研时要记录接口地址、认证方式(Token/OAuth)、分页参数、单次返回上限、限流策略与字段映射。特别注意接口返回的批次号格式是否与数据库一致,是否存在前后空格或大小写差异。

下表是一份接入调研记录的示例结构(参数为教学假设,非实测):

系统接入方式核心对象增量依据建议频率
ERP数据库只读库存事务、生产订单update_time每 15 分钟
MES数据库只读投料记录、工单批次自增 ID每 5 分钟
WMSREST API批次库存、出入库流水接口时间参数每 30 分钟
LIMSREST API样品检验结果检验完成时间每小时

三、抽取频率与增量策略

看板不需要秒级实时,但追溯链的完整性要求"不漏数据"。增量策略的核心是选一个可靠的增量水位字段。优先使用业务时间戳(如 update_time、检验完成时间),其次使用自增主键。若两者都没有,只能做全量比对,成本高且易出错,此时应推动源系统补充时间戳字段。

抽取频率按业务节奏设定:MES 投料记录变化快,5 分钟一次;ERP 库存事务 15 分钟;WMS 与 LIMS 变化相对慢,30 分钟至 1 小时。每次抽取记录水位值,下次从水位之后开始取,并保留最近若干次的水位快照以便回溯补数。对于 API 接口,还要处理分页与限流,采用"按时间窗口切片 + 重试"的方式,避免一次拉取过多导致超时。

四、数据质量评估

接入完成后必须做质量评估,否则看板上的追溯链会出现断点。评估维度包括:完整性(批次号是否为空、投料记录是否缺失)、一致性(同一批次在 ERP 与 MES 中编码是否一致)、及时性(数据延迟是否在可接受范围)、准确性(数量、效期是否合理)。

可设定量化指标,例如批次号非空率应达到 100%,投料记录与工单的匹配率不低于 99%,跨系统批次编码一致率不低于 98%。对不达标项要定位到具体表与字段,形成问题清单反馈给源系统负责人。教学示例中,若发现 MES 投料表有 3% 的记录批次号为空,就应优先排查该表的数据录入环节,而不是在看板层做兜底填充。

四系统追溯数据接入与汇聚示意 ERP 批次主数据 / 库存事务 采购·生产·销售凭证 MES 工单批次 / 投料记录 工序流转 / 产出批次 WMS 批次库存 / 库位状态 出入库流水 / 效期 LIMS 样品批次关联 检验结果 / 判定结论 数据库只读 · 15min 数据库只读 · 5min REST API · 30min REST API · 60min 抽取与汇聚层 增量水位记录 字段映射与清洗 批次号标准化 去重与补数 质量校验规则 异常问题清单 追溯看板 批次正向/反向追溯 质量状态与库存位置 链路断点提示 数据延迟监控 质量门槛示例: 批次号非空率 100% · 投料匹配率 ≥99% · 跨系统编码一致率 ≥98%

上图把四个系统的数据职责、接入方式、抽取频率与汇聚层的处理动作放在同一视图中,可以直观看到:ERP 与 MES 走数据库只读、频率较高,WMS 与 LIMS 走 API、频率较低;汇聚层承担水位记录、字段映射、批次号标准化与质量校验,最终输出给看板。实际实施时,建议先打通 MES 投料与 ERP 生产订单这条主链,再逐步接入 WMS 库存与 LIMS 检验,避免一次性铺开导致问题难以定位。