1. 制造时序数据全景认知

在制造现场,数据从来不是单一来源、单一形态的。一台数控机床的主轴振动、一条灌装线的流量、一个批次的质检结果、一次设备报警的触发时刻——它们分别由不同系统产生,采样频率相差几个数量级,却共同描述着同一件产品的制造过程。理解制造时序数据的全景,首先要回答三个问题:数据从哪里来、长什么样、为什么难管。

一、五类数据源:从物理信号到业务事件

制造场景中的时序数据主要来自五个层次,越靠近物理层,频率越高、体量越大;越靠近业务层,语义越强、频率越低。

  • 设备传感器:直接安装在电机、轴承、液压站、温控回路上的振动、温度、压力、电流传感器。典型采样率为 1 Hz~50 kHz,振动监测常取 10 kHz 以上以捕捉轴承故障特征频率。数据是原始波形或高频标量,几乎没有业务语义。
  • PLC(可编程逻辑控制器):以毫秒级扫描周期采集开关量、模拟量、计数器值,如气缸到位信号、伺服位置、节拍计数。典型周期 1~100 ms,是设备动作的直接映射。
  • SCADA(数据采集与监控系统):汇聚多台 PLC 与仪表数据,形成产线级监控点表,典型采集周期 1~10 s,带报警、趋势、操作记录。
  • MES(制造执行系统):以工单、工序、批次、设备状态为对象,记录开工、完工、停机、换型等事件,时间粒度通常为秒到分钟,强业务语义。
  • QMS(质量管理系统):记录检验结果、SPC 采样值、缺陷代码、返修记录,与批次和产品序列号绑定,频率最低但关联性最强。

这五类数据并非孤立。一次质量异常往往需要同时回溯:QMS 的缺陷记录、MES 的批次与设备、SCADA 的工艺曲线、PLC 的动作时序、传感器的原始波形。分层存储的价值,正是让这种跨层回溯在可接受的时间和成本内完成。

制造时序数据五层来源与特征分布 设备传感器 振动/温度/压力/电流 1 Hz ~ 50 kHz PLC 开关量/模拟量/计数 1 ~ 100 ms SCADA 产线监控点/报警/趋势 1 ~ 10 s MES 工单/工序/批次/停机 秒 ~ 分钟 QMS 检验/SPC/缺陷/返修 分钟 ~ 批次 频率高 频率低 业务语义增强 → 高频写入 单条产线可达 10 万点/秒 写入吞吐是首要瓶颈 需批量、压缩、分区策略 强时序 时间戳是主键,乱序容忍度低 查询以时间窗口为主 降采样与聚合是常态操作 多模态 标量、波形、事件、文本并存 同一时刻多源对齐困难 需统一时间基准与标签体系 生命周期挑战 热数据查询贵、冷数据留存难 合规留存与成本控制需平衡 分层存储价值:热层保实时查询 · 温层保近期分析 · 冷层保长期追溯与合规

二、四组关键特征:为什么不能当普通业务数据存

高频。一条中等规模产线,若 200 个测点以 1 kHz 采样,每秒产生 20 万条记录,一天约 172 亿条。若全部以行式数据库存储,写入和查询都会迅速劣化。因此时序数据的第一条工程约束是:写入路径必须支持批量追加与列式压缩,而不是逐条事务提交。

强时序。时间戳是天然主键,查询几乎总是"某设备在某时间段的值"。这决定了索引应以时间分区为主,设备标签为辅。同时,现场时钟漂移、网络抖动会造成乱序到达,系统需要容忍一定窗口内的乱序写入,而不是简单丢弃。

多模态。同一时刻,传感器给的是浮点波形,PLC 给的是布尔量,MES 给的是字符串事件,QMS 给的是结构化检验记录。它们的时间基准可能不同:传感器用设备本地时钟,MES 用服务器时间。跨源分析前必须做时间对齐,否则"同一时刻"根本不存在。

高写入、低更新。时序数据一旦写入,几乎不再修改,只会被查询、聚合、降采样和过期删除。这与业务数据"频繁更新"的假设相反,因此适合追加写、分区裁剪和 TTL 自动清理。

三、生命周期管理的核心矛盾

制造时序数据的生命周期通常跨越数月到数年。矛盾在于:越新的数据越热、查询越频繁、价值越高,但体量越小;越旧的数据越冷、查询越少,但体量越大、留存要求越刚性。如果全部放在高性能存储上,成本随天数线性上升;如果过早归档到低速介质,故障回溯和工艺优化又会变慢。

以一个具体示例说明量级:假设某车间 500 个测点,平均采样 10 Hz,每条记录约 40 字节。则日增数据量约为 500 × 10 × 86400 × 40 B ≈ 17.3 GB/天,一年约 6.3 TB。若保留三年,原始数据接近 19 TB。这还没有计入波形文件和质检附件。显然,用同一套存储策略覆盖全部数据既不经济也不必要。

分层存储的基本思路是:按数据年龄和访问频率划分热、温、冷三层,热层保留最近 7~30 天原始精度数据,温层保留 3~12 个月的降采样或聚合数据,冷层以压缩列式或对象存储保留 1~3 年以上的原始归档,并配合 TTL 自动迁移与删除。具体天数与精度需根据工艺追溯要求和合规要求确定,而非固定值。

四、从全景到工程决策

理解全景的最终目的,是做出可执行的存储与查询决策。面对一个具体制造场景,可以先回答四个问题:数据源有哪些、各自频率与体量多大、查询模式是实时监控还是历史回溯、留存期限由工艺还是合规决定。这四个问题的答案,直接决定分区粒度、压缩算法、降采样规则和冷热迁移阈值。

例如,若某产线的核心诉求是"设备故障后 30 分钟内完成波形回溯",则热层必须保留原始波形至少 30 天,且查询接口要支持按设备与时间窗口快速定位;若诉求是"年度工艺趋势分析",则温层保留分钟级聚合值即可,无需保留原始高频点。同一批数据,因查询目标不同,分层策略可以完全不同。