2. 工业数据基础
工业数据质量监控的第一步，不是写规则，而是搞清楚“数据从哪来、长什么样、怎么进系统、最后存在哪里”。如果对数据来源和结构没有清晰认知，后续的清洗、校验、告警和根因分析都会变成盲人摸象。本节从来源、类型、采集方式、数据结构和存储形式五个维度，建立工业数据的整体认知框架。
一、工业数据的四大来源
工业现场的数据来源可以按“离物理对象远近”划分为四层，越靠近设备，数据频率越高、体量越大、语义越弱。
- 设备与传感器层：PLC、DCS、变频器、智能仪表、振动/温度/压力传感器，产生高频时序信号，是工业数据的主体。
- 控制系统与SCADA层：SCADA、HMI、组态软件汇总设备状态、报警、操作记录，带有工艺语义。
- 生产管理系统层：MES、WMS、QMS、ERP，产生工单、批次、物料、质检、能耗等业务数据。
- 外部与辅助系统层：环境监测、能源管理、视频监控、实验室LIMS、第三方接口数据。
这四层数据在时间精度、更新频率、数据量和语义完整度上差异巨大，是后续质量规则必须“分层设计”的根本原因。
二、工业数据的类型划分
按数据形态，工业数据通常分为五类，不同类型对应不同的质量关注点。
| 数据类型 | 典型示例 | 主要质量关注点 |
|---|---|---|
| 时序数据 | 温度、压力、电流、转速 | 缺失、跳变、漂移、时间戳错位 |
| 状态/事件数据 | 启停、报警、故障码 | 状态跳变合法性、重复上报 |
| 业务事务数据 | 工单、批次、报工记录 | 主键唯一、外键完整、逻辑一致 |
| 文本/日志数据 | 操作日志、维修记录 | 格式规范、关键字段缺失 |
| 图像/视频数据 | 视觉质检、监控画面 | 帧率、分辨率、标注一致性 |
三、常见采集方式与信号链
采集方式决定了数据的实时性、完整性和可追溯性。常见方式包括：PLC轮询采集、OPC UA/Modbus等协议直采、SCADA转发、消息中间件（MQTT/Kafka）推送、数据库直连抽取、文件/接口批量导入。下图展示了一条典型的工业数据采集信号链，从现场设备到存储层的完整路径。
四、典型数据结构与存储形式
工业数据在存储时通常呈现四种结构形态，选择哪种存储，取决于查询模式和质量校验需求。
- 时序结构：以“测点+时间戳+值+质量码”为核心，适合高频写入和按时间窗口聚合查询，常用InfluxDB、TDengine、TimescaleDB。
- 关系结构：工单、批次、物料、质检等业务数据，强调主外键和事务一致性，常用MySQL、PostgreSQL、Oracle。
- 半结构化：设备报文、JSON日志、报警详情，字段可变，常用MongoDB、Elasticsearch或数据湖。
- 非结构化：视觉质检图像、监控视频、音频，常用对象存储（MinIO、S3）配合元数据表管理。
关键认知：工业数据质量监控不是只盯一张表，而是要同时覆盖“高频时序 + 低频业务 + 半结构化日志”三类数据。不同存储形式的质量规则、校验时机和修复策略完全不同。
五、案例场景：一条产线的数据链路
以某汽车零部件产线为例，压机PLC每50ms上传一次压力与位移信号，SCADA每5秒汇总一次设备状态，MES在每批次结束时写入工单和质检结果。三类数据分别进入时序库、关系库和消息队列。质量监控平台需要：
- 对时序数据检查时间戳连续性、量程越界和突变率；
- 对状态数据检查状态跳变是否符合工艺状态机；
- 对业务数据检查批次号唯一性、工单与质检记录的外键完整性。
如果只监控时序数据，就会漏掉“批次号重复导致质检结果错配”这类业务层质量问题；反之，只监控业务数据，则无法发现传感器漂移。因此，数据来源和结构的梳理，是设计分层质量规则的前提。
六、常见误区与复盘
误区一：把所有数据都塞进关系库。高频时序数据写入关系库会导致性能急剧下降，且时间窗口查询效率低。
误区二：忽略时间戳来源。设备本地时间、网关时间、服务器时间不一致，会造成数据错位，后续对齐成本极高。
误区三：只采集数值，不采集质量码。PLC的“坏值”“超时”“手动置位”等状态如果丢失，质量监控就无法区分真实异常和采集异常。
复盘建议：在项目初期就建立“数据源清单”，记录每个测点的来源系统、采集协议、频率、时间戳来源、存储位置和责任人。这份清单本身就是后续数据质量规则的基础资产。
数据源清单示例（片段）：
测点ID 来源系统 协议 频率 时间戳来源 存储位置 责任人
P-001 压机PLC OPC UA 50ms 网关NTP 时序库 张工
S-002 SCADA MQTT 5s 服务器NTP 时序库 李工
WO-2024 MES REST API 批次结束 MES服务器 关系库 王工