1. 制造历史数据库全景认知
制造历史数据库并不是一个孤立的软件产品,而是制造企业运行过程中所有"已经发生过的数据"的长期沉淀载体。它承接来自MES、SCADA、PLC、QMS、ERP、WMS、设备网关以及人工录入系统的数据,按时间维度组织,为追溯、分析、合规、模型训练和故障复盘提供依据。理解它的第一步,不是急着选型或建表,而是先看清数据从哪里来、长什么样、有多大、会经历什么。
一、数据来源:从车间现场到业务系统
制造历史数据的来源可以按"离物理世界远近"分为四层。最底层是设备与传感器层:PLC的扫描周期数据、变频器电流、伺服轴位置、温度/压力/振动传感器采样值,通常以毫秒到秒级频率产生。往上是边缘采集层:OPC UA服务器、Modbus网关、边缘计算盒子负责协议转换和初步缓存,把不同厂商的私有协议统一成带时间戳的标签值。再往上是过程控制与执行层:SCADA负责监控画面与报警,MES负责工单、批次、工序过站、物料绑定,这些系统产生的是带业务语义的事件流。最上层是业务管理层:ERP的订单与成本、QMS的检验记录、WMS的出入库流水,它们频率低但字段多、关联复杂。
这四层数据在时间精度、命名规范、主键定义上往往并不一致。例如同一台设备,PLC里叫"DB100.DBD0",SCADA里叫"1#注塑机_料筒温度",MES里叫"EQP-001"。历史数据库要做的第一件事,就是建立统一的设备与测点编码映射,否则后续所有查询都会变成"对不上号"的排查工作。
二、数据类型:不只是"数值"
制造历史数据常被误认为只有浮点数。实际上至少包含五类:
- 连续量测值:温度、压力、转速、电流等模拟量,是时序数据库最典型的负载。
- 离散状态量:设备运行/停机/故障、阀门开/关、工位占用/空闲,取值少但跳变频繁。
- 事件与报警:带时间戳和优先级的状态变更记录,用于事后追溯。
- 批次与谱系数据:工单号、批次号、物料批号、工艺配方版本,构成"谁在什么时候用了什么料做了什么产品"的关系链。
- 质量与检测数据:尺寸测量值、外观判定、SPC抽样结果,常与批次强关联。
不同类型的数据对存储的要求差异很大:连续量测值追求高写入吞吐和压缩率,批次谱系追求关联查询和事务一致性,报警事件追求不可篡改和快速检索。把它们全部塞进一张宽表,是很多项目后期查询变慢的根源。
三、规模特征:三个维度的增长
制造历史数据的规模可以从三个维度估算。第一是测点数:一条中等规模产线通常有2000~20000个可采集标签,全厂可能达到十万级。第二是采样频率:关键工艺参数可能1秒甚至100毫秒采一次,一般状态量10秒到1分钟一次。第三是保留年限:汽车、医药、航空等行业常要求追溯15年甚至产品全生命周期。
以一个示例场景估算:某车间有5000个测点,平均采样周期1秒,每个测点每次写入按16字节原始值加时间戳和标签开销约40字节计算,单日数据量约为 5000 × 86400 × 40 ≈ 17.3 GB/天,一年约6.3 TB。若保留10年,原始数据将超过60 TB。这个量级下,如果不做压缩和分层,查询和备份都会成为负担。需要说明的是,上述数字为教学估算示例,实际项目应以现场测点清单和采样配置为准。
四、生命周期管理挑战
制造历史数据的生命周期通常经历"热—温—冷—销毁"四个阶段。热层保存最近7到30天的数据,支撑实时看板、报警确认和当班追溯,要求毫秒级查询响应;温层保存近1到2年的数据,支撑批次追溯、SPC分析和客户投诉调查,查询频率下降但关联复杂度上升;冷层保存2年以上的数据,主要满足法规审计和长期质量分析,访问频率极低但必须保证可读;超过法定或企业规定年限后,按策略销毁或抽样保留。
挑战集中在四个地方。第一是写入与查询的冲突:高频写入要求顺序追加和批量提交,而追溯查询往往需要按批次、按设备、按时间范围做多维过滤,两者对索引和存储结构的要求不同。第二是冷热迁移的一致性:数据从热层搬到冷层时,必须保证时间戳、标签编码、批次关联关系不丢失,否则审计时会出现"数据在但查不到"的情况。第三是存储成本与合规要求的平衡:全量原始数据保留10年成本极高,但降采样或只保留统计值又可能不满足追溯精度要求,需要按数据类别制定差异化策略。第四是标签与元数据的长期可维护性:设备会改造、测点会增减、命名规范会调整,如果元数据没有版本管理,几年后的查询将无法解释历史数据的真实含义。