📚 课程目录第3章数据质量维度

3. 数据质量维度

在工业数据质量监控中，判断一条数据“好不好”不能只凭感觉，也不能只看某个单一指标。工业现场的数据来自PLC、DCS、SCADA、MES、传感器网关、时序数据库和关系数据库，不同来源的数据在结构、语义、时间粒度和业务用途上差异很大。因此，业界通常用一组核心质量维度来建立统一的评价语言：完整性、准确性、一致性、及时性、唯一性、有效性。它们不是彼此孤立的检查项，而是从“有没有、对不对、同不同、快不快、重不重、合不合规”六个角度共同描述数据是否可用于生产监控、质量追溯、能耗分析和设备预测性维护。

核心思想：数据质量维度是工业数据治理的“体检指标”。每个维度都对应可量化的规则、可采集的指标和可执行的异常处置动作，而不是抽象概念。

一、六个核心质量维度的工业含义

完整性关注数据是否缺失。工业场景中，完整性不仅指数据库字段非空，还包括时间序列是否连续、设备测点是否齐全、批次记录是否完整。例如，某反应釜温度每5秒采集一次，若10分钟内出现大量空值或断点，就属于完整性异常。完整性通常用缺失率、断点数量、必填字段覆盖率来衡量。

准确性关注数据是否真实反映物理世界。传感器漂移、量程配置错误、人工录入错误、单位换算错误都会破坏准确性。例如，压力变送器量程为0～1.6MPa，但采集值出现2.3MPa，且现场无超压报警，则可能是量程或标定问题。准确性常用偏差率、越限率、与标准仪表的比对误差来评估。

一致性关注同一对象在不同系统、不同表或不同时间点的数据是否矛盾。工业中常见的是MES工单数量与WMS出入库数量不一致、PLC累计产量与报表产量不一致、同一设备在资产台账与实时库中的编码不一致。一致性检查包括跨系统比对、主外键校验、编码映射校验和业务规则校验。

及时性关注数据是否在需要的时间内到达。工业实时监控对及时性要求极高：SCADA画面刷新延迟、报警数据迟到、批次结束后质量数据未及时回传，都会影响决策。及时性可用采集延迟、传输延迟、端到端延迟和超时未更新次数来衡量。

唯一性关注同一实体是否被重复记录。工业数据中，重复的工单号、重复的设备编码、重复的批次记录会导致统计虚高和追溯混乱。唯一性检查通常依赖主键约束、唯一索引、去重规则和业务主数据管理。

有效性关注数据是否符合预定义的值域、格式、类型和业务规则。例如，设备状态只能取“运行、停机、故障、维护”，若出现“未知”或“99”，则无效；温度值必须在合理量程内；时间戳必须符合ISO 8601格式。有效性是规则最明确、最容易自动化的一类检查。

二、维度之间的关系与检查优先级

六个维度并非完全独立。完整性缺失会导致准确性无法判断；一致性异常可能源于唯一性重复；及时性不足会让准确性失去时效价值。因此，工业数据质量监控通常采用“先结构、后内容、再业务”的优先级：先检查完整性和有效性，再检查唯一性和一致性，最后结合及时性和准确性做业务级判断。

三、工业场景中的典型检查规则与参数

把维度落到工程实现，关键是定义可执行的规则和阈值。以下示例展示了一个工业数据质量规则配置片段，覆盖完整性、有效性、唯一性和及时性检查：

{
  "ruleSet": "realtime_quality_v1",
  "rules": [
    {
      "dimension": "completeness",
      "target": "sensor_readings.temperature",
      "condition": "value IS NULL",
      "threshold": "missing_rate < 0.5%",
      "window": "10m"
    },
    {
      "dimension": "validity",
      "target": "sensor_readings.pressure",
      "condition": "value BETWEEN 0 AND 1.6",
      "unit": "MPa",
      "action": "mark_invalid"
    },
    {
      "dimension": "uniqueness",
      "target": "work_orders.order_id",
      "condition": "COUNT(*) = 1",
      "action": "reject_duplicate"
    },
    {
      "dimension": "timeliness",
      "target": "mes.batch_quality",
      "condition": "now() - event_time <= 30s",
      "action": "raise_late_alert"
    }
  ]
}

这些规则不是一次性配置，而是需要结合设备类型、工艺阶段和业务SLA持续调优。例如，高频振动测点的及时性阈值可能是1秒，而批次质量数据可以是30秒；安全联锁相关测点的有效性规则必须严格，而辅助能耗测点可以适当放宽。

四、案例：某汽车零部件工厂的数据质量复盘

某汽车零部件工厂在月度质量报表中发现：A产线产量比MES工单数量高出约3%。初步排查发现，PLC累计产量在换班时被重复写入，导致唯一性异常；同时，部分批次的质量检验结果未在班次结束前回传，导致及时性不足；另外，两个车间的设备编码不一致，造成一致性问题。团队按以下步骤复盘：

用完整性规则确认无大面积缺失，排除采集断点。
用唯一性规则定位重复写入的工单记录，修正主键约束。
用一致性规则比对MES与WMS的批次数量，统一设备编码映射。
用及时性规则监控质量数据回传延迟，设置30秒超时告警。
用准确性规则抽检传感器，发现一只压力变送器漂移，完成标定。

复盘结论：数据质量问题往往不是单一维度造成的。先定位维度，再定位系统、接口、规则或设备，才能避免“只改报表、不改源头”的无效治理。

五、常见误区与治理建议

误区	表现	治理建议
只查完整性	字段非空但值错误，报表仍然失真	完整性、有效性、准确性组合检查
把及时性当性能问题	数据最终到达，但已错过报警窗口	按业务SLA定义端到端延迟阈值
忽略唯一性	重复记录导致产量、能耗虚高	主键约束、唯一索引、去重规则前置
一致性靠人工核对	跨系统数据长期不一致，追溯困难	建立主数据编码映射和自动比对任务
有效性规则过宽	异常值进入模型，影响预测结果	按测点类型配置值域、量程和状态枚举

注意：六个维度没有绝对的优先级，必须结合业务场景动态调整。实时控制场景更看重及时性和有效性；质量追溯场景更看重准确性和一致性；统计报表场景更看重唯一性和完整性。脱离场景谈“数据质量”，很容易陷入指标好看但业务不可用的困境。

综上，完整性、准确性、一致性、及时性、唯一性和有效性共同构成了工业数据质量的基础评价体系。理解每个维度的工业含义、检查方法和适用边界，是后续设计数据质量监控规则、搭建异常检测流程和实现自动处置动作的前提。只有把维度转化为可执行、可度量、可追踪的规则，数据质量监控才能真正服务于生产、质量和设备管理。