4. 质量数据平台架构

质量数据平台不是单一系统,而是把检验计划、检验执行、质量判定、缺陷数据、设备状态与供应商质量等对象统一承载的数据基础设施。它的核心价值在于:让质量数据从“分散记录”变成“可追溯、可分析、可服务”的资产。因此,平台总体架构必须围绕“采集—存储—服务—应用—集成”五层展开,并保证层与层之间职责清晰、接口稳定、数据可回溯。

一、总体架构:五层分工与数据流向

平台总体架构采用分层设计,自下而上依次为数据采集层、数据存储层、数据服务层、应用层,集成层则横向贯穿各层,负责与MES、ERP、WMS、SCADA、LIMS等外部系统对接。分层的关键原则是:采集层只负责“取数”,存储层只负责“管数”,服务层只负责“供数”,应用层只负责“用数”,集成层只负责“通数”。任何一层都不应越界承担其他层职责,否则平台会迅速退化为难以维护的“大泥球”。

质量数据平台五层总体架构 应用层 质量看板 SPC分析 追溯查询 预警与报表 数据服务层 查询API 指标服务 订阅推送 权限与审计 数据存储层 关系库 时序库 对象存储 数据湖/缓存 数据采集层 设备采集 人工录入 接口同步 文件导入 集成层 MES ERP WMS SCADA LIMS 服务调用 数据读取 写入存储 数据接入

二、数据采集层:多源异构数据的统一入口

采集层面对的是“多源、异构、高频、易错”的现实。典型数据源包括:检验设备(如三坐标、影像仪、拉力机)的测量结果,PLC/SCADA的工艺参数,人工录入的检验记录,以及MES/ERP同步过来的工单、批次、供应商信息。采集层需要解决三个问题:协议适配、数据清洗、幂等写入。

协议适配方面,设备侧常用OPC UA、Modbus TCP、MQTT;系统侧常用RESTful API、数据库直连、文件交换。采集层应提供统一的“采集适配器”抽象,把不同协议转换为内部标准事件格式。数据清洗则要处理单位换算、量纲统一、异常值标记、时间戳对齐。幂等写入用于防止重复采集导致的数据膨胀,通常以“设备ID+批次号+测量时间+测点编号”作为唯一键。

{
  "source": "CMM-01",
  "batchNo": "B20240612-007",
  "inspectTime": "2024-06-12T09:23:15+08:00",
  "items": [
    {"code": "DIA-01", "value": 12.034, "unit": "mm", "result": "PASS"},
    {"code": "DIA-02", "value": 12.061, "unit": "mm", "result": "FAIL"}
  ]
}

三、数据存储层:按数据特征选型

存储层不能只用一种数据库。质量数据至少分为四类:主数据与检验计划(关系型)、测量结果与工艺参数(时序型)、检验报告与影像(对象存储)、分析宽表与历史归档(数据湖/列式存储)。选型原则是“按访问模式选存储”,而不是“按技术偏好选存储”。

数据类型典型内容推荐存储关键要求
主数据物料、供应商、检验计划、测点定义关系库强一致、事务
测量数据尺寸、扭矩、温度、压力时序库高写入、时间窗口查询
非结构化检验报告、缺陷照片、PDF对象存储低成本、可追溯
分析数据SPC宽表、质量指标汇总数据湖/列式批量扫描、聚合快

四、数据服务层:把数据变成可复用能力

服务层是平台从“数据仓库”走向“数据服务”的关键。它对外提供查询API、指标服务、订阅推送和权限审计。查询API面向应用层,支持按批次、工单、设备、时间范围检索;指标服务把CPK、PPM、合格率、缺陷率等计算逻辑封装为可复用服务,避免每个应用重复实现;订阅推送用于质量预警,当某测点连续偏移或超差时主动通知;权限审计确保不同角色只能访问授权范围内的数据。

服务层设计要点:接口版本化、返回结构稳定、错误码统一、限流与熔断可配置。否则应用层会被频繁变更的接口拖垮。

五、应用层与集成层:面向场景与系统协同

应用层直接面向质量工程师、检验员、班组长和管理者,典型应用包括质量看板、SPC分析、追溯查询、预警与报表。应用层不应直接访问数据库,而应通过服务层获取数据,以保证安全与解耦。集成层则负责与MES、ERP、WMS、SCADA、LIMS等系统协同:从MES获取工单与批次,向ERP回传质量结果,从WMS获取物料批次,从SCADA获取工艺参数,与LIMS交换检验项目与结果。

六、案例与常见误区

某汽车零部件企业在建设质量数据平台时,最初把采集、存储、分析全部塞进一个单体应用,结果设备一增加,查询就变慢,报表经常超时。后来按五层架构重构:采集层用适配器统一接入12类设备,存储层把测量数据迁到时序库,服务层封装CPK与PPM指标,应用层只调用API。重构后,单批次追溯从分钟级降到秒级,SPC分析可支持近30天数据在线计算。

常见误区:一是采集层直接写业务库,导致事务冲突;二是存储层只用关系库,时序数据写入瓶颈明显;三是服务层缺失,应用直接连库,权限与口径失控;四是集成层点对点直连,接口数量随系统数平方增长。正确做法是分层解耦、接口收敛、数据口径统一。

综上,质量数据平台的架构设计应坚持“采集标准化、存储分类化、服务API化、应用场景化、集成松耦合”。只有五层各司其职,平台才能支撑检验计划执行、质量追溯、SPC分析与持续改进等核心业务,并为后续的数据治理与智能分析打下稳定基础。