4. 制造元数据采集与建模

制造元数据不是“给数据加几个标签”,而是把设备、工艺、物料、订单、质量等对象在数据平台中的身份、含义、来源与使用方式固定下来。若采集口径不统一,同一台数控机床在MES里叫“CNC-01”,在数据目录里叫“加工中心1号”,在时序库中又写成“EQ_001”,后续的资产盘点、血缘分析和指标计算都会失真。因此,本节围绕三类元数据的采集方法、元模型设计以及制造场景下的扩展方式展开。

一、三类元数据的采集边界与采集方法

技术元数据描述数据“存在哪里、长什么样、怎么流动”。在制造环境中,典型对象包括数据库表、字段、分区、索引、视图、ETL任务、Kafka主题、时序测点、文件路径、接口地址等。采集方式以“自动扫描+任务日志解析”为主:对关系型数据库通过JDBC读取information_schema,获取表名、字段名、类型、注释、主键;对时序库读取测点清单、标签集和采样频率;对数据集成任务解析调度日志与SQL血缘,得到“源表→目标表”的字段级映射。例如,采集到一张表dwd_equipment_status,字段equip_code为varchar(32)、非空,来源任务job_mes_equip_incr,即可形成技术元数据记录。

业务元数据回答“这个数据在业务上代表什么、由谁负责、按什么口径使用”。制造场景中,业务元数据包括设备资产编号、物料编码、工序名称、工单类型、质量判定规则、指标定义、数据责任人、密级与共享范围。采集方式以“标准映射+人工确认”为主:从ERP、MES、PLM、QMS等系统的编码表中抽取主数据,与数据目录中的技术对象建立映射;对指标类元数据,则从指标平台或报表定义中提取计算公式、统计周期、维度组合。例如,字段equip_code的业务含义可登记为“设备资产唯一编码”,关联到设备主数据表md_equipment,责任部门为设备动力部。

操作元数据记录“数据在运行中发生了什么”。它包括任务实例状态、开始结束时间、处理行数、失败重试次数、数据质量检查结果、接口调用量、时序测点最新值时间等。采集方式以“埋点+日志采集”为主:调度系统输出任务实例日志,数据质量平台输出规则命中结果,API网关输出调用日志,时序采集网关输出测点心跳。操作元数据通常带时间戳,适合按时间窗口聚合,用于判断数据是否按时到达、是否连续、是否异常。

制造元数据采集与元模型汇聚关系 技术元数据源 数据库 information_schema ETL 调度日志 / SQL 血缘 Kafka 主题 / 时序测点清单 文件路径 / 接口地址 业务元数据源 ERP / MES / PLM 主数据 物料编码 / 设备资产编号 指标定义 / 质量判定规则 责任人 / 密级 / 共享范围 操作元数据源 任务实例状态 / 耗时 / 行数 质量规则命中结果 API 调用日志 / 测点心跳 失败重试 / 最新值时间 自动扫描 JDBC 读取结构 解析调度与血缘日志 标准映射 + 人工确认 主数据编码对齐 指标口径登记 埋点 + 日志采集 任务实例埋点 质量与接口日志汇聚 制造元模型 对象:设备 / 物料 / 工序 / 工单 属性:编码 / 名称 / 类型 / 单位 关系:属于 / 加工于 / 产生 约束:唯一性 / 非空 / 枚举 版本:生效时间 / 变更记录 扩展:工厂 / 产线 / 工位 安全:密级 / 责任人 / 共享 运行:任务状态 / 质量结果 数据目录 资产检索 / 血缘 影响分析 指标与报表 口径统一 责任可追溯 运行监控 任务时效 / 质量 异常定位 三类元数据经采集后统一落入元模型,再支撑目录、指标与运行监控

二、元模型设计:把“对象—属性—关系—约束”固定下来

元模型是元数据的“数据字典”,它规定采集什么、怎么组织、如何关联。制造场景下,建议采用“核心元模型+扩展属性”的两层结构。核心元模型至少包含四类实体:数据资产(表、字段、主题、接口、测点)、业务对象(设备、物料、工序、工单、质量特性)、人员组织(责任人、部门、岗位)、运行事件(任务实例、质量检查、接口调用)。实体之间通过关系连接,例如“字段—属于—表”“表—由—任务—写入”“设备—对应—测点”“指标—引用—字段”。

设计时先定义属性模板。以“设备”对象为例,可包含:equip_code(唯一编码,必填)、equip_name(名称)、equip_type(设备类型,枚举)、workshop(所属车间)、production_line(产线)、vendor(厂商)、install_date(安装日期)、status(运行状态)。每个属性再绑定数据类型、是否必填、取值来源、更新频率和责任人。这样,当MES新增一台设备时,元模型能判断哪些字段必须补齐、哪些字段可从主数据自动同步。

约束设计是元模型能否落地的关键。制造场景常见约束包括:设备编码全局唯一;物料编码必须符合企业编码规则;工序顺序必须满足工艺路线;测点必须绑定唯一设备与物理量;指标必须声明统计周期和维度。约束可以写成可校验的规则,例如“equip_code匹配正则^EQ-[A-Z]{2}-\d{4}$”,在采集入库时直接拦截不合规记录。

三、制造场景下的元数据扩展

通用元模型往往只覆盖“库表字段”,而制造现场需要额外表达物理世界与生产逻辑。扩展方向主要有四类。

第一,设备与测点扩展。在数据资产上增加equip_code、measure_point、unit、sampling_freq、precision等属性,使时序数据能追溯到具体设备与物理量。例如,测点EQ-CNC-0007.spindle_speed,单位rpm,采样频率1s,精度0.1,绑定到设备资产EQ-CNC-0007。

第二,工艺与工序扩展。为数据对象增加process_code、operation_code、route_version、station_code,使质量数据、工单数据能按工艺路线聚合。例如,某张质量表字段op_code关联到工序OP-30-精铣,从而支持“按工序统计不良率”。

第三,物料与批次扩展。增加material_code、batch_no、supplier_code、incoming_date,用于追溯来料批次与供应商。当出现质量异常时,可沿“成品批次→工单→物料批次→供应商”反向定位。

第四,安全与合规扩展。增加security_level、share_scope、retention_days、owner_dept,满足制造企业对工艺参数、成本数据的保密要求。例如,工艺参数表标记为“内部受限”,仅工艺部与质量部可读,保留180天。

扩展属性应遵循“最小必要”原则:只增加能支撑检索、血缘、质量或合规判断的字段,避免把元模型变成另一套业务系统。

四、采集与建模的落地检查

实际推进时,可按以下顺序验证:先确认技术元数据扫描覆盖率,确保核心库表、主题、测点均已登记;再核对业务元数据映射率,重点检查设备、物料、工序三类主数据是否与技术对象建立关联;然后检查操作元数据时效,确认任务实例、质量结果、接口日志能在分钟级进入目录;最后用一条真实血缘链路做验证,例如从“设备状态表字段”追溯到“MES源表”,再关联到“设备资产”和“责任人”,若链路完整、口径一致,说明元模型设计基本可用。

制造元数据采集与建模的难点不在工具,而在口径统一与持续维护。技术元数据靠自动扫描保证“全”,业务元数据靠标准映射保证“准”,操作元数据靠埋点日志保证“活”,三者通过元模型汇聚,才能让数据目录真正成为制造数据资产的索引与说明书。