2. 遥测数据对象与质量维度建模
遥测数据质量治理的第一步,不是急着写校验规则,而是先把“数据对象”和“质量维度”这两件事定义清楚。对象决定了我们治理的边界与粒度,维度决定了我们用什么尺子去衡量好坏。二者共同构成后续采集、清洗、监控、告警的语义基础。本节围绕物联网遥测场景,梳理从传感器到元数据的对象层次,并给出六类质量维度的可操作定义。
一、遥测数据的对象层次
在物联网遥测体系中,数据并非孤立产生,而是沿着“物理世界—感知—汇聚—建模—描述”的链条逐层抽象。理解这条链条,才能为每个对象分配正确的质量责任。
- 传感器(Sensor):直接感知物理量的最小单元,如温度探头、压力变送器、电流互感器。它输出的是原始电信号或经内部转换的工程值,关注点在于量程、精度、采样周期、供电方式。
- 设备(Device):承载一个或多个传感器的物理实体,如一台水泵、一个配电柜、一辆冷链运输车。设备是资产管理和故障定位的基本单位,拥有唯一设备编号、型号、安装位置、投运时间。
- 网关(Gateway):负责协议转换与数据汇聚的中间节点,如 Modbus 转 MQTT 的边缘网关。它决定数据能否按时、完整地上行,是时效性与完整性的关键控制点。
- 时序测点(Time Series Point):遥测数据的最小可寻址单元,通常由“设备编号 + 测点标识”唯一确定,例如
PUMP-001.temperature。每个测点对应一条按时间排列的数值序列,是质量校验的直接对象。 - 标签(Tag):附着在测点或设备上的分类属性,如
region=华东、line=A线、unit=℃。标签用于分组、过滤和权限控制,其一致性直接影响聚合统计的可信度。 - 元数据(Metadata):描述数据的数据,包括测点名称、量纲、量程上下限、采集频率、精度等级、所属设备、启用状态等。元数据是质量规则能够自动生成的前提。
这六类对象并非平级罗列,而是存在明确的归属与引用关系。下图给出它们之间的结构关系,可作为后续建模的参照。
二、六类质量维度的定义与判定
对象确定后,需要为每个测点定义“好数据”的标准。物联网遥测中常用六类维度,它们各自回答一个不同的问题。
| 维度 | 回答的问题 | 典型判定方式 |
|---|---|---|
| 完整性 | 该来的数据是否都来了? | 按采集周期统计缺失点数,缺失率 = 缺失点数 / 应到点数 |
| 准确性 | 数值是否接近真实值? | 与标准表比对、量程越界检测、跳变率检测 |
| 一致性 | 同一事实在不同位置是否相同? | 跨系统比对、单位统一检查、标签取值域校验 |
| 时效性 | 数据是否足够新? | 事件时间与入库时间之差,超过阈值即判为延迟 |
| 唯一性 | 同一条记录是否重复? | 按“设备+测点+时间戳”去重,统计重复率 |
| 有效性 | 数据是否符合业务规则? | 枚举值校验、范围校验、非空校验、格式校验 |
这六类维度并非彼此独立。例如,一条重复上报的记录,既违反唯一性,也可能因时间戳错乱而影响时效性;一个量纲写错的测点,既破坏一致性,也会让准确性校验失去基准。因此在实际建模时,通常先固定元数据,再依次施加规则。
三、从对象到规则的建模示例
下面以一个水泵温度测点为例,说明如何把对象与维度落到可执行的规则上。假设设备编号为 PUMP-001,测点标识为 temperature,采集周期 10 秒,量程 0~120 ℃,精度等级 ±0.5 ℃。
测点: PUMP-001.temperature
元数据:
unit = ℃
range_min = 0
range_max = 120
sample_period_s = 10
accuracy = ±0.5
标签:
region = 华东
line = A线
device_type = 离心泵
质量规则:
完整性: 每 10 分钟窗口内应到 60 点,缺失 > 3 点告警
准确性: 值 < 0 或 > 120 判为越界;相邻两点变化 > 30 ℃/10s 判为跳变
一致性: unit 必须为 ℃;region 必须属于 {华东, 华北, 华南}
时效性: 入库时间 - 事件时间 > 30 s 判为延迟
唯一性: (device_id, point_id, event_time) 组合唯一
有效性: 值不得为空;必须为数值类型
这些规则一旦以元数据为输入自动生成,就能批量应用到成千上万个测点,而不必逐条手写。这也是为什么元数据质量本身必须先行治理——元数据缺失或错误,规则就会失效或误报。
四、维度之间的优先级与取舍
在资源有限的边缘侧,不可能对所有测点同时施加全部六类校验。通常按业务影响排序:安全相关测点优先保证准确性与时效性;计费相关测点优先保证完整性与唯一性;用于报表聚合的测点优先保证一致性与有效性。优先级不是固定不变的,应随业务阶段调整,并在元数据中显式标注,避免规则散落在各处难以维护。
把对象层次与质量维度对齐之后,后续的采集链路、清洗策略、监控看板才有统一的语义基础。下一阶段的工作,就是围绕这些定义去设计具体的采集与校验流程。