3. 运行数据采集与治理

数字孪生体的可信度,几乎完全取决于喂给它的运行数据是否干净、完整、时序对齐。一个物理设备上往往同时挂着振动加速度计、温度热电偶、电流互感器、PLC 状态字、视觉相机等多类传感器,它们采样率不同、时钟不同、量纲不同,甚至通信协议也不同。如果直接把这些原始数据送进孪生模型,模型输出的健康度、剩余寿命、能耗预测都会失真。因此,运行数据采集与治理是数据闭环的第一道工程关口,本节围绕多源接入、时序清洗、缺失值处理和质量评估四个环节展开。

多源传感器接入:先统一时间与语义

接入阶段的核心不是“连上”,而是“对齐”。以一台工业电机为例,典型接入对象包括:三轴振动传感器(采样率 25.6 kHz,加速度量纲 m/s²)、绕组温度 PT100(1 Hz,℃)、三相电流互感器(10 kHz,A)、PLC 运行状态字(事件触发,枚举值)、以及转速编码器(1 kHz,r/min)。这些数据源在物理层可能走 Modbus TCP、OPC UA、MQTT 或 EtherCAT,接入层需要为每一路建立统一的“数据点描述”:设备 ID、测点 ID、物理量、单位、采样率、时间戳来源、量程与量纲。

时间对齐是接入的关键动作。高频振动与低频温度不能简单按行拼接,而应以一个基准时钟(如 NTP 或 PTP 同步的网关时间)为参考,采用“时间窗聚合”策略:把 1 秒窗口内的振动数据聚合成 RMS、峰值、峭度等特征,把温度取窗口均值,把电流取有效值,再与 PLC 状态字按时间戳对齐成一行宽表。这样既保留了高频信号的特征信息,又让不同采样率的数据在同一时间轴上可比。

接入阶段建议为每个测点维护一份“点表”(Tag List),至少包含:tag_id、device_id、signal_type、unit、sample_rate、timestamp_source、valid_range。点表是后续清洗与质量评估的元数据基础,缺失它,清洗规则将无从判断“什么算异常”。

时序数据清洗:识别并处理四类脏数据

真实运行数据中常见的脏数据可归为四类:离群点(如振动瞬时尖峰由电磁干扰引起)、漂移(温度传感器缓慢偏移)、重复/乱序时间戳(网络重传导致)、量纲或单位错误(如把 0.1℃ 分辨率误读为 1℃)。清洗不是简单删除,而是先标记、再按规则处理。

以振动 RMS 序列为例,可采用“3σ + 物理量程”双重判据:先按滑动窗口计算均值 μ 与标准差 σ,将超出 μ±3σ 的点标记为统计离群;再结合点表中的 valid_range(如振动 RMS 合理范围 0.1~15 m/s²)做物理边界过滤。对于被标记的点,若连续不超过 3 个且前后趋势连续,可用线性插值修复;若连续超过 5 个,则视为传感器故障段,整段置为无效并触发告警,而不是强行填补。

时间戳清洗同样重要。对同一测点,若出现时间戳重复,保留首次到达值;若出现时间倒序,按时间戳重新排序并记录乱序事件计数。这些计数本身就是数据质量指标的一部分。

缺失值处理:按缺失机制选择策略

缺失值处理不能“一刀切”。应先判断缺失机制:是完全随机缺失(如偶发丢包)、随机缺失(如设备停机期间无数据)、还是非随机缺失(如传感器故障后持续无值)。不同机制对应不同策略:

  • 短时随机缺失(≤3 个采样点):线性插值或前向填充,适用于温度、电流等缓变量。
  • 中等长度缺失(4~30 个点):用同工况历史片段做相似性匹配填充,或使用三次样条插值,但必须记录填充标记。
  • 长时缺失或非随机缺失:不填充,保留为空并打上“invalid”标签,避免污染后续统计与模型训练。

关键原则是:填充值必须可追溯。建议在数据表中增加一列 fill_method,记录每个被填充点的来源(如 linear、spline、history_match、none),这样在质量评估和模型复盘时能区分“真实值”与“修复值”。

数据质量评估:用可量化指标闭环

治理效果需要可量化。常用的数据质量维度包括完整性、有效性、一致性、时效性和唯一性。针对本节场景,可定义如下可计算指标:

指标计算方式示例阈值
完整率有效点数 / 应采点数≥ 98%
离群率被标记离群点数 / 总点数≤ 1%
时间戳乱序率乱序事件数 / 总记录数≤ 0.1%
填充率填充点数 / 总点数≤ 2%
量程越界率越界点数 / 总点数≤ 0.5%

这些指标应按测点、按天滚动计算,并写入质量看板。当某一测点的完整率连续 3 天低于 95%,或离群率突增,就应触发数据治理告警,回查接入链路或传感器状态。这样,数据质量评估就不再是一次性检查,而是与运行闭环联动的持续反馈。

多源传感器接入与数据治理链路 多源传感器 振动 25.6 kHz 温度 1 Hz 电流 10 kHz PLC 状态字 接入网关 协议解析 时间戳统一 点表映射 时间窗聚合 时序清洗与缺失处理 3σ + 量程离群标记 时间戳排序去重 短缺失线性插值 长缺失置无效标记 数据质量评估 完整率 / 离群率 乱序率 / 填充率 量程越界率 按测点按天滚动 质量告警触发回查与重清洗 示例:1 秒时间窗聚合后的宽表(节选) timestamp vib_rms temp_avg current_rms plc_state fill_method 10:00:01 2.31 68.4 12.7 RUN none 10:00:02 2.28 68.5 12.6 RUN linear 10:00:03 2.35 68.3 12.8 RUN none

把上述四个环节串起来看,接入解决“数据从哪来、时间怎么对齐”,清洗解决“哪些点不可信”,缺失处理解决“空位怎么补且可追溯”,质量评估解决“治理效果是否达标”。四者共同构成运行数据闭环的输入保障。只有这一步做扎实,后续的孪生模型更新、异常检测和优化决策才有可靠的数据底座。