2. 遥测数据对象与质量维度建模

遥测数据质量治理的第一步,不是急着写校验规则,而是先把“数据对象”和“质量维度”这两件事定义清楚。对象决定了我们治理的边界与粒度,维度决定了我们用什么尺子去衡量好坏。二者共同构成后续采集、清洗、监控、告警的语义基础。本节围绕物联网遥测场景,梳理从传感器到元数据的对象层次,并给出六类质量维度的可操作定义。

一、遥测数据的对象层次

在物联网遥测体系中,数据并非孤立产生,而是沿着“物理世界—感知—汇聚—建模—描述”的链条逐层抽象。理解这条链条,才能为每个对象分配正确的质量责任。

  • 传感器(Sensor):直接感知物理量的最小单元,如温度探头、压力变送器、电流互感器。它输出的是原始电信号或经内部转换的工程值,关注点在于量程、精度、采样周期、供电方式。
  • 设备(Device):承载一个或多个传感器的物理实体,如一台水泵、一个配电柜、一辆冷链运输车。设备是资产管理和故障定位的基本单位,拥有唯一设备编号、型号、安装位置、投运时间。
  • 网关(Gateway):负责协议转换与数据汇聚的中间节点,如 Modbus 转 MQTT 的边缘网关。它决定数据能否按时、完整地上行,是时效性与完整性的关键控制点。
  • 时序测点(Time Series Point):遥测数据的最小可寻址单元,通常由“设备编号 + 测点标识”唯一确定,例如 PUMP-001.temperature。每个测点对应一条按时间排列的数值序列,是质量校验的直接对象。
  • 标签(Tag):附着在测点或设备上的分类属性,如 region=华东、line=A线、unit=℃。标签用于分组、过滤和权限控制,其一致性直接影响聚合统计的可信度。
  • 元数据(Metadata):描述数据的数据,包括测点名称、量纲、量程上下限、采集频率、精度等级、所属设备、启用状态等。元数据是质量规则能够自动生成的前提。

这六类对象并非平级罗列,而是存在明确的归属与引用关系。下图给出它们之间的结构关系,可作为后续建模的参照。

遥测数据对象层次与引用关系 传感器 Sensor 温度/压力/电流探头 设备 Device 水泵/配电柜/运输车 网关 Gateway 协议转换/数据汇聚 安装于 接入 时序测点 Point 设备编号+测点标识 产生 标签 Tag region/line/unit 元数据 Metadata 量程/量纲/频率/精度 标注 描述 质量维度作用于:时序测点(值) · 标签(分类) · 元数据(定义) · 设备/网关(链路)

二、六类质量维度的定义与判定

对象确定后,需要为每个测点定义“好数据”的标准。物联网遥测中常用六类维度,它们各自回答一个不同的问题。

维度回答的问题典型判定方式
完整性该来的数据是否都来了?按采集周期统计缺失点数,缺失率 = 缺失点数 / 应到点数
准确性数值是否接近真实值?与标准表比对、量程越界检测、跳变率检测
一致性同一事实在不同位置是否相同?跨系统比对、单位统一检查、标签取值域校验
时效性数据是否足够新?事件时间与入库时间之差,超过阈值即判为延迟
唯一性同一条记录是否重复?按“设备+测点+时间戳”去重,统计重复率
有效性数据是否符合业务规则?枚举值校验、范围校验、非空校验、格式校验

这六类维度并非彼此独立。例如,一条重复上报的记录,既违反唯一性,也可能因时间戳错乱而影响时效性;一个量纲写错的测点,既破坏一致性,也会让准确性校验失去基准。因此在实际建模时,通常先固定元数据,再依次施加规则。

三、从对象到规则的建模示例

下面以一个水泵温度测点为例,说明如何把对象与维度落到可执行的规则上。假设设备编号为 PUMP-001,测点标识为 temperature,采集周期 10 秒,量程 0~120 ℃,精度等级 ±0.5 ℃。

测点: PUMP-001.temperature
元数据:
  unit        = ℃
  range_min   = 0
  range_max   = 120
  sample_period_s = 10
  accuracy    = ±0.5
标签:
  region = 华东
  line   = A线
  device_type = 离心泵

质量规则:
  完整性: 每 10 分钟窗口内应到 60 点,缺失 > 3 点告警
  准确性: 值 < 0 或 > 120 判为越界;相邻两点变化 > 30 ℃/10s 判为跳变
  一致性: unit 必须为 ℃;region 必须属于 {华东, 华北, 华南}
  时效性: 入库时间 - 事件时间 > 30 s 判为延迟
  唯一性: (device_id, point_id, event_time) 组合唯一
  有效性: 值不得为空;必须为数值类型

这些规则一旦以元数据为输入自动生成,就能批量应用到成千上万个测点,而不必逐条手写。这也是为什么元数据质量本身必须先行治理——元数据缺失或错误,规则就会失效或误报。

建模顺序建议:先补齐元数据(量纲、量程、周期),再定义标签取值域,最后按维度生成规则。顺序颠倒会导致规则频繁返工。

四、维度之间的优先级与取舍

在资源有限的边缘侧,不可能对所有测点同时施加全部六类校验。通常按业务影响排序:安全相关测点优先保证准确性与时效性;计费相关测点优先保证完整性与唯一性;用于报表聚合的测点优先保证一致性与有效性。优先级不是固定不变的,应随业务阶段调整,并在元数据中显式标注,避免规则散落在各处难以维护。

把对象层次与质量维度对齐之后,后续的采集链路、清洗策略、监控看板才有统一的语义基础。下一阶段的工作,就是围绕这些定义去设计具体的采集与校验流程。