3. 运行数据采集与治理
数字孪生体的可信度,几乎完全取决于喂给它的运行数据是否干净、完整、时序对齐。一个物理设备上往往同时挂着振动加速度计、温度热电偶、电流互感器、PLC 状态字、视觉相机等多类传感器,它们采样率不同、时钟不同、量纲不同,甚至通信协议也不同。如果直接把这些原始数据送进孪生模型,模型输出的健康度、剩余寿命、能耗预测都会失真。因此,运行数据采集与治理是数据闭环的第一道工程关口,本节围绕多源接入、时序清洗、缺失值处理和质量评估四个环节展开。
多源传感器接入:先统一时间与语义
接入阶段的核心不是“连上”,而是“对齐”。以一台工业电机为例,典型接入对象包括:三轴振动传感器(采样率 25.6 kHz,加速度量纲 m/s²)、绕组温度 PT100(1 Hz,℃)、三相电流互感器(10 kHz,A)、PLC 运行状态字(事件触发,枚举值)、以及转速编码器(1 kHz,r/min)。这些数据源在物理层可能走 Modbus TCP、OPC UA、MQTT 或 EtherCAT,接入层需要为每一路建立统一的“数据点描述”:设备 ID、测点 ID、物理量、单位、采样率、时间戳来源、量程与量纲。
时间对齐是接入的关键动作。高频振动与低频温度不能简单按行拼接,而应以一个基准时钟(如 NTP 或 PTP 同步的网关时间)为参考,采用“时间窗聚合”策略:把 1 秒窗口内的振动数据聚合成 RMS、峰值、峭度等特征,把温度取窗口均值,把电流取有效值,再与 PLC 状态字按时间戳对齐成一行宽表。这样既保留了高频信号的特征信息,又让不同采样率的数据在同一时间轴上可比。
时序数据清洗:识别并处理四类脏数据
真实运行数据中常见的脏数据可归为四类:离群点(如振动瞬时尖峰由电磁干扰引起)、漂移(温度传感器缓慢偏移)、重复/乱序时间戳(网络重传导致)、量纲或单位错误(如把 0.1℃ 分辨率误读为 1℃)。清洗不是简单删除,而是先标记、再按规则处理。
以振动 RMS 序列为例,可采用“3σ + 物理量程”双重判据:先按滑动窗口计算均值 μ 与标准差 σ,将超出 μ±3σ 的点标记为统计离群;再结合点表中的 valid_range(如振动 RMS 合理范围 0.1~15 m/s²)做物理边界过滤。对于被标记的点,若连续不超过 3 个且前后趋势连续,可用线性插值修复;若连续超过 5 个,则视为传感器故障段,整段置为无效并触发告警,而不是强行填补。
时间戳清洗同样重要。对同一测点,若出现时间戳重复,保留首次到达值;若出现时间倒序,按时间戳重新排序并记录乱序事件计数。这些计数本身就是数据质量指标的一部分。
缺失值处理:按缺失机制选择策略
缺失值处理不能“一刀切”。应先判断缺失机制:是完全随机缺失(如偶发丢包)、随机缺失(如设备停机期间无数据)、还是非随机缺失(如传感器故障后持续无值)。不同机制对应不同策略:
- 短时随机缺失(≤3 个采样点):线性插值或前向填充,适用于温度、电流等缓变量。
- 中等长度缺失(4~30 个点):用同工况历史片段做相似性匹配填充,或使用三次样条插值,但必须记录填充标记。
- 长时缺失或非随机缺失:不填充,保留为空并打上“invalid”标签,避免污染后续统计与模型训练。
关键原则是:填充值必须可追溯。建议在数据表中增加一列 fill_method,记录每个被填充点的来源(如 linear、spline、history_match、none),这样在质量评估和模型复盘时能区分“真实值”与“修复值”。
数据质量评估:用可量化指标闭环
治理效果需要可量化。常用的数据质量维度包括完整性、有效性、一致性、时效性和唯一性。针对本节场景,可定义如下可计算指标:
| 指标 | 计算方式 | 示例阈值 |
|---|---|---|
| 完整率 | 有效点数 / 应采点数 | ≥ 98% |
| 离群率 | 被标记离群点数 / 总点数 | ≤ 1% |
| 时间戳乱序率 | 乱序事件数 / 总记录数 | ≤ 0.1% |
| 填充率 | 填充点数 / 总点数 | ≤ 2% |
| 量程越界率 | 越界点数 / 总点数 | ≤ 0.5% |
这些指标应按测点、按天滚动计算,并写入质量看板。当某一测点的完整率连续 3 天低于 95%,或离群率突增,就应触发数据治理告警,回查接入链路或传感器状态。这样,数据质量评估就不再是一次性检查,而是与运行闭环联动的持续反馈。
把上述四个环节串起来看,接入解决“数据从哪来、时间怎么对齐”,清洗解决“哪些点不可信”,缺失处理解决“空位怎么补且可追溯”,质量评估解决“治理效果是否达标”。四者共同构成运行数据闭环的输入保障。只有这一步做扎实,后续的孪生模型更新、异常检测和优化决策才有可靠的数据底座。