4. 数据质量维度：完整性、准确性、一致性、时效性、唯一性在厂务数据中的体现
在厂务数据治理中，数据质量是决定后续分析、报警与决策有效性的基石。PLC采集的原始数据往往存在缺失、跳变、延迟、重复等问题。本章从完整性、准确性、一致性、时效性、唯一性五个维度，结合厂务场景（如洁净室温湿度、纯水流量、电力参数）进行剖析，并给出每个维度的判定方法与清洗策略。
4.1 完整性（Completeness）
定义：数据记录中是否存在缺失值或空值。在PLC采集中，完整性缺失通常表现为某时间戳下无数据、NaN或占位符（如-9999）。
厂务场景体现
- 温湿度传感器：因通信中断导致某时段无回传值，形成数据空洞。
- 流量计：瞬时流量字段为空，但累计流量正常——可能为通道配置遗漏。
- 电力参数：电压、电流、功率因数三者之一缺失，影响能耗计算。
判定与处理
| 缺失类型 | 判定方法 | 清洗策略 |
|---|---|---|
| 完全随机缺失 | 统计空值比例 > 5% | 线性插值 / 前向填充 |
| 连续缺失（>3个点） | 时间序列连续性检测 | 标记为无效段，不参与统计 |
| 占位符缺失 | 值等于-9999或9999 | 替换为NaN后插值 |
案例：某洁净室温度采集点连续缺失12个数据点（2分钟），采用前向填充后引入约0.5℃偏差，最终标记为无效段并触发运维告警。
4.2 准确性（Accuracy）
定义：数据值是否真实反映物理世界的实际状态。PLC数据准确性受传感器漂移、电磁干扰、A/D转换误差影响。
厂务场景体现
- 压力传感器：因零点漂移导致静态压力显示0.5 MPa，实际为0.3 MPa。
- pH计：电极老化导致测量值长期偏低0.2。
- 变频器频率：因信号衰减导致采集值比实际输出低2 Hz。
判定与处理
| 准确性问题 | 判定方法 | 清洗策略 |
|---|---|---|
| 传感器漂移 | 与校准值对比偏差 > 阈值 | 线性校正 / 替换为校准值 |
| 异常跳变 | 3σ原则 / IQR规则 | 中位数平滑 / 剔除后插值 |
| 量化误差 | 分辨率检查 | 四舍五入保留有效位数 |
建议：准确性校验应结合设备台账中的校准周期，对超期未校准的传感器数据打标，不直接用于控制回路。
4.3 一致性（Consistency）
定义：同一数据在不同系统、不同时间点或不同表达方式下是否逻辑自洽。厂务系统中常见于多源数据冲突。
厂务场景体现
- 能耗数据：PLC瞬时功率×时间积分 ≠ 电表累计电量（偏差 > 5%）。
- 液位数据：雷达液位计与静压液位计对同一水箱的读数差异 > 10 cm。
- 时间戳格式：PLC使用Unix时间戳，SCADA使用字符串格式，导致对齐错误。
判定与处理
| 一致性类型 | 判定方法 | 清洗策略 |
|---|---|---|
| 逻辑一致性 | 交叉验证（如功率×时间 vs 电量） | 以高精度仪表为准，修正低精度数据 |
| 格式一致性 | 正则表达式匹配 | 统一转换为ISO 8601 / 浮点标准 |
| 范围一致性 | 业务规则检查（如温度不超量程） | 截断至合理范围并标记 |
4.4 时效性（Timeliness）
定义：数据从采集到可用之间的延迟是否满足业务要求。厂务系统中，不同场景对时效性要求差异巨大。
厂务场景体现
- 实时控制：PID调节要求数据延迟 < 100 ms，超时可能导致震荡。
- 报警系统：温度超限需在5秒内触发，延迟过长可能造成设备损坏。
- 历史分析：日能耗统计允许分钟级延迟，但需保证时间戳准确。
判定与处理
| 时效性等级 | 允许延迟 | 清洗策略 |
|---|---|---|
| 实时控制 | < 100 ms | 丢弃超时数据，使用上一有效值 |
| 报警监控 | < 5 s | 标记延迟数据，不触发报警 |
| 统计分析 | < 1 min | 重采样对齐时间戳 |
| 归档存储 | < 1 h | 批量补传，记录延迟原因 |
注意：时效性不足的数据若用于实时控制，可能引发系统误动作。建议在数据管道中增加时间戳校验，对超时数据打标签，不进入控制回路。
4.5 唯一性（Uniqueness）
定义：数据记录是否重复，即同一时间戳下同一测点是否存在多条记录。PLC采集中的重复通常由通信重试、冗余通道或采集程序bug引起。
厂务场景体现
- 冗余PLC：主备切换时，同一时间戳下出现两条相同数据。
- 通信重试：TCP丢包后重发，导致同一数据被写入两次。
- 采集程序：多线程同时写入数据库，产生毫秒级重复记录。
判定与处理
| 重复类型 | 判定方法 | 清洗策略 |
|---|---|---|
| 完全重复 | 时间戳+测点ID完全一致 | 保留第一条，删除后续 |
| 近似重复 | 时间戳差异 < 10 ms，值相同 | 合并为一条，取最早时间戳 |
| 冗余通道重复 | 同一物理量来自不同通道 | 按通道优先级保留高精度通道 |
案例：某厂务系统因PLC主备切换配置不当，导致同一温度点每秒产生2条重复记录。通过建立时间戳+测点ID的唯一索引，清洗后数据量减少约50%，存储成本下降30%。
4.6 五维综合评估矩阵
在实际厂务数据治理中，五个维度需要综合评估。以下矩阵展示了不同数据类型的质量要求优先级：
| 数据类型 | 完整性 | 准确性 | 一致性 | 时效性 | 唯一性 |
|---|---|---|---|---|---|
| 实时控制数据 | 高 | 高 | 高 | 极高 | 高 |
| 报警数据 | 中 | 高 | 中 | 高 | 中 |
| 能耗统计 | 高 | 中 | 高 | 低 | 高 |
| 设备状态 | 中 | 中 | 中 | 中 | 中 |
| 趋势分析 | 高 | 中 | 中 | 低 | 中 |
实践建议：在建立数据清洗管道时，先按唯一性去重，再处理完整性缺失，接着做准确性校验，然后检查一致性，最后评估时效性。这个顺序能最大化清洗效率。
4.7 本章小结
数据质量五维模型为厂务数据清洗提供了系统化的评估框架。在实际项目中，建议：
- 建立每个测点的质量基线（如完整性 ≥ 98%，准确性偏差 ≤ 1%）。
- 使用自动化脚本定期扫描各维度指标，生成质量报告。
- 将质量维度与清洗策略绑定，实现自适应清洗管道。
关键指标：一个健康的厂务数据系统，完整性应 ≥ 95%，准确性偏差 ≤ 2%，一致性通过率 ≥ 98%，时效性满足业务SLA，唯一性无重复记录。