1. 多产线时序数据汇聚工程导论

在离散制造、流程工业和能源装备等场景中，一条产线往往同时运行数十到数百台设备：PLC、CNC、机器人、视觉相机、传感器网关、边缘采集盒。每台设备以各自的采样周期产生带时间戳的数据流，例如伺服驱动器每 4 ms 上报一次电流与位置，温度采集模块每 1 s 上报一次炉温，视觉系统每帧输出一次缺陷判定结果。多产线时序数据汇聚工程要解决的，就是把这些分散、异构、节拍不一的数据流，稳定、有序、可追溯地汇集到统一的数据底座，并支撑上层监控、分析与优化应用。

课程目标

本课程围绕“从设备侧到数据平台”的完整链路展开，目标是让读者具备独立设计并落地一条多产线汇聚链路的能力。具体包括四个层次：

• 概念层：理解时序数据的本质特征——时间戳、标签集、字段值三元组，以及它与关系型业务数据的差异。
• 架构层：掌握“边缘采集—消息缓冲—流式处理—时序存储—服务接口”的分层结构，能判断每一层该承担什么职责。
• 实现层：能配置采集协议（如 OPC UA、Modbus TCP、MQTT）、设计主题与分区策略、编写数据清洗与对齐逻辑、建立时序库的标签与保留策略。
• 运维层：能识别时钟漂移、数据乱序、断点续传、重复上报等典型问题，并给出可验证的处理方案。

核心挑战

多产线汇聚不是简单的“把数据搬过去”，其难点集中在五个方面。

第一，时间基准不统一。不同设备的本地时钟可能相差几十毫秒到数秒。若直接以采集端接收时间入库，跨产线的因果分析就会失真。工程上通常要求设备侧或边缘侧统一走 NTP/PTP 对时，并在数据中同时保留“设备时间戳”和“平台接收时间戳”，前者用于业务分析，后者用于链路诊断。

第二，采样节拍差异大。高频信号（振动、电流）与低频信号（温度、能耗）混在一起。若按最高频率统一对齐，会造成大量无效插值；若按最低频率降采样，又会丢失高频特征。常见做法是分层存储：原始高频数据短周期保留，降采样后的分钟级聚合数据长期保留。

第三，网络与设备不稳定。产线现场电磁干扰强，设备可能短时离线。采集端必须具备本地缓存与断点续传能力，否则一次网络抖动就会造成数据缺口。

第四，数据质量参差。同一测点可能出现空值、越界值、重复上报、时间戳回退。汇聚链路中必须设置清洗规则，例如：时间戳早于上次记录则判定为乱序并进入重排窗口；数值超出量程则标记为可疑而非直接丢弃。

第五，规模与成本。假设 10 条产线、每条 200 个测点、平均 10 Hz 采样，则每秒约 2 万个数据点，每天约 17 亿点。存储、索引和查询成本必须提前估算，不能等到数据堆积后再补救。

典型场景

以某汽车零部件工厂为例：三条冲压线、两条焊装线、一条总装线。冲压线关注压力机滑块位移与液压油温，焊装线关注焊接电流与机器人关节扭矩，总装线关注拧紧枪扭矩与输送链速度。汇聚后的典型应用包括：

• 跨产线 OEE 对比：按班次统计各线停机时长与节拍达成率。
• 质量追溯：某批次缺陷件对应的焊接电流曲线回放。
• 预测性维护：基于振动与电流趋势判断轴承劣化。
• 能耗分析：按产线、按工单统计单位产品电耗。

这些应用对数据的要求并不相同：OEE 需要分钟级聚合，质量追溯需要毫秒级原始曲线，预测性维护需要连续无缺口的长序列。因此汇聚架构必须同时支持“原始层”和“聚合层”。

整体技术架构

下图给出本节推荐的分层架构。数据自下而上流动，左侧标注了每层的关键动作，右侧标注了对应的典型技术选型。需要说明的是，图中“设备时间戳”与“平台接收时间戳”是两个独立字段，全文及后续章节均保持这一约定。

架构中有三个关键设计决策值得在项目初期明确。其一，分区键的选择。若以“产线ID+设备ID”作为 Kafka 分区键，则同一设备的数据严格有序，便于流处理端做状态计算；若以随机键分区，吞吐更高但乱序处理成本上升。其二，时间戳的语义。建议每条记录携带 event_time（设备产生时间）与 ingest_time（平台接收时间），流处理窗口以 event_time 为准，并设置允许延迟阈值（例如 5 s），超过阈值的迟到数据进入旁路主题单独处理。其三，保留策略的分层。原始毫秒级数据保留 7～30 天，分钟级聚合保留 1～3 年，小时级聚合长期保留，这样既满足追溯需求，又控制存储成本。