2. 制造时序数据平台现状评估

迁移与扩容不是从“换一套新平台”开始,而是从“把现状说清楚”开始。制造时序数据平台的现状评估,核心是回答五个问题:数据从哪里来、以多快速度来、总量和增速有多大、现在存在哪里、被谁以什么方式查询。只有这五个维度都量化,后续的容量规划、分片设计、迁移窗口和回滚方案才有依据。本节按这五个维度展开,并给出可落地的瓶颈识别方法。

一、数据源类型:先分类,再定采集通道

制造现场的数据源通常可分为四类。第一类是设备侧控制器,如 PLC、CNC、机器人控制器,通过 OPC UA、Modbus TCP、S7 等协议暴露寄存器或节点;第二类是边缘采集网关,它把多个设备协议归一化后以 MQTT、Kafka 或 HTTP 上报;第三类是 SCADA/DCS/ historians 等既有系统,往往通过数据库接口或文件导出;第四类是 MES、QMS、WMS 等业务系统,产生的是工单、批次、检验结果等事件型数据,与设备测点通过时间戳和批次号关联。

分类的意义在于:不同数据源的采集频率、时间精度、断线补传能力和数据质量差异很大。例如 PLC 周期扫描数据时间戳常由网关打点,存在毫秒级抖动;而 MES 事件时间通常是业务时间,可能滞后数分钟。评估时要为每类源记录:协议、测点数量、单点字段结构、时间戳来源、是否支持批量订阅、断网缓存时长。这些字段直接决定后续接入层的并发模型和乱序处理策略。

二、采集频率与数据量级:用公式估算,而不是凭感觉

采集频率决定写入压力,数据量级决定存储与扩容规模。评估时应按“测点 × 频率 × 字段宽度”估算。示例:某车间有 1200 个测点,平均采集周期 1 秒,每条记录包含时间戳、测点 ID、值、质量码,序列化后约 60 字节,则单车间日增原始数据约为 1200 × 86400 × 60 B ≈ 6.2 GB/天。若全厂有 8 个类似车间,日增约 50 GB,年增约 18 TB(未计副本与索引)。

实际评估还要区分三类频率:高频波形类(如振动,可达 10 kHz 以上)、中频过程类(1 s~10 s)、低频状态类(分钟级或事件触发)。高频数据往往只保留短周期原始值,长期存聚合值;中低频数据则全量保留。评估表应至少包含:数据源、测点数量、采集周期、单条字节数、日增量、保留策略、副本数。这样得到的“逻辑总量”和“物理总量”才能用于磁盘与分片规划。

三、存储引擎与查询模式:现状决定迁移代价

现有存储引擎常见组合是:关系库(MySQL/PostgreSQL)存配置与事件、时序库(InfluxDB、TimescaleDB、TDengine)存测点、对象存储或文件库存历史归档。评估时要记录每个引擎的版本、部署形态(单机/集群)、分片或分区键、压缩方式、副本数、当前磁盘使用率和写入延迟。

查询模式则决定索引与预聚合设计。制造场景的典型查询包括:按设备+时间范围查原始曲线、按班次/工单聚合统计、按阈值查异常区间、按批次追溯关联多源数据。评估时应统计近 30 天慢查询的 SQL/查询语句、平均耗时、扫描行数、命中索引情况,并区分点查、范围查、聚合查、关联查的占比。若范围聚合查询占比高而现有引擎缺少降采样或连续查询能力,迁移后必须补上预聚合层。

制造时序数据平台现状评估五维模型 数据源类型 PLC / CNC / 机器人 边缘网关 MQTT SCADA / MES / QMS 协议·测点数·时间戳来源 采集频率 高频波形 10 kHz+ 中频过程 1~10 s 低频状态 分钟/事件 周期·抖动·补传能力 数据量级 测点×频率×字节宽 日增 / 年增 / 保留策略 副本数·压缩比 逻辑总量 vs 物理总量 存储引擎 关系库 / 时序库 对象存储 / 文件归档 分片键·副本·压缩 版本·部署形态·使用率 查询模式 点查/范围/聚合 关联追溯 慢查询占比 扫描行数·索引命中 现有瓶颈识别方法:四类证据交叉验证 ① 写入侧 写入延迟 P99 队列积压 / 丢点率 磁盘 IOPS 饱和度 ② 查询侧 慢查询 TOP N 扫描行数 / 返回行数 并发查询排队时长 ③ 存储侧 磁盘使用率 / 增速 压缩比 / 冷热分层 分片倾斜 / 热点分片 ④ 资源侧 CPU / 内存 / 网络 GC 停顿 / 连接数 副本同步延迟 输出:瓶颈清单 + 量化基线 + 迁移优先级 写入瓶颈 / 查询瓶颈 / 存储瓶颈 / 资源瓶颈 评估原则:先量化基线,再定位瓶颈,最后决定迁移与扩容策略

四、瓶颈识别:用四类证据交叉验证

瓶颈识别不能只看“系统慢”,而要分侧取证。写入侧重点看写入延迟 P99、消息队列积压量、丢点率、磁盘 IOPS 饱和度;查询侧重点看慢查询 TOP N、扫描行数与返回行数之比、并发查询排队时长;存储侧重点看磁盘使用率与增速、压缩比、冷热数据是否分层、分片是否倾斜;资源侧重点看 CPU、内存、网络、GC 停顿、连接数和副本同步延迟。

一个可操作的判断路径是:先确认写入是否稳定,若写入延迟随测点增加线性上升且队列持续积压,说明写入通道或存储写入能力已达上限;若写入正常但查询变慢,则检查是否缺少时间+设备联合索引、是否每次查询都全表扫描、聚合是否在原始数据上直接计算。示例判断:某平台写入 P99 从 20 ms 升至 180 ms,同时 Kafka 消费滞后从 0 增至 40 万条,磁盘 util 长期高于 90%,可判定为存储写入瓶颈,而非查询瓶颈。

五、评估成果:形成可执行的基线表

评估结束后应输出一份现状基线表,至少包含:数据源清单(协议、测点数、频率)、日增/年增数据量、现有存储引擎与使用率、TOP 慢查询及耗时、已识别瓶颈及证据、迁移优先级。这份表是后续容量规划、分片设计和迁移窗口安排的输入。没有量化基线的迁移,往往会在切换后才发现写入或查询能力不足,导致回滚成本远高于前期评估成本。

评估阶段建议保留至少 7 天的写入延迟、队列积压和慢查询采样数据,避免用单点瞬时值判断瓶颈。对于高频波形数据,应单独评估其原始保留周期与降采样策略,不要与中低频测点混在同一张容量表中。