3. 数据质量维度：完整性、准确性、一致性、及时性、唯一性、有效性

在模型看板的数据质量监控体系中，六维质量模型是评估数据是否可信、可用、可解释的核心框架。每一个维度都对应着看板中可能出现的具体异常模式，监控团队需要针对每个维度设计独立的检测规则与告警阈值。

3.1 六维质量维度总览

下表从定义、看板典型表现、监控指标三个角度，对六个维度进行横向对比：

3.2 六维质量监控流程

以下 SVG 流程图展示了从数据接入到看板展示的完整监控链路，每个维度在流程中的检测节点均已标注：

3.3 各维度深度解析与监控规则

3.3.1 完整性（Completeness）

完整性衡量数据集中缺失值的比例。在看板场景中，完整性缺失通常表现为：

• 字段级缺失：关键维度字段（如用户ID、时间戳）存在 NULL 值。
• 记录级缺失：某时间窗口内数据行数低于历史基线。
• 跨表缺失：主表与关联表之间存在外键悬空。

-- 字段完整性检测：检查核心字段空值率
SELECT
  COUNT(*) AS total_rows,
  SUM(CASE WHEN user_id IS NULL THEN 1 ELSE 0 END) AS null_user_id,
  ROUND(100.0 * SUM(CASE WHEN user_id IS NULL THEN 1 ELSE 0 END) / COUNT(*), 2) AS null_rate
FROM model_dashboard.daily_metrics
WHERE dt = '2025-03-01';

3.3.2 准确性（Accuracy）

准确性关注数据值与真实业务事实的吻合程度。常见检测手段包括：

• 统计离群检测：使用 Z-score 或 IQR 识别异常值。
• 业务规则校验：如“订单金额 > 0”且“折扣率 ≤ 1”。
• 回测验证：将看板指标与上游业务系统（如 CRM、ERP）进行交叉比对。

3.3.3 一致性（Consistency）

一致性确保同一数据实体在不同存储位置或不同时间点的取值逻辑统一。看板中常见的不一致场景：

• 汇总与明细不一致：总表 GMV 与各品类 GMV 之和不等。
• 跨源不一致：实时流计算与离线批处理对同一指标的统计口径不同。
• 时间序列不一致：昨日留存率与今日回刷的昨日留存率存在偏差。

3.3.4 及时性（Timeliness）

及时性衡量数据从产生到进入看板的时间延迟。监控指标包括：

3.3.5 唯一性（Uniqueness）

唯一性确保每个业务实体在看板中只出现一次。重复数据会导致聚合指标失真：

• 主键重复检测：对看板事实表的主键字段进行 GROUP BY + HAVING COUNT(*) > 1。
• 业务逻辑重复：如“同一用户在同一秒内产生两条相同金额的订单”。
• 去重后波动检测：监控去重后的用户数、设备数是否出现异常突增。

3.3.6 有效性（Validity）

有效性检查数据值是否符合预定义的格式、类型和取值范围。典型规则包括：

• 格式校验：日期字段必须为 YYYY-MM-DD，邮箱字段必须包含 "@"。
• 域值校验：年龄字段必须在 0~120 之间，性别字段必须在 {男, 女, 未知} 集合内。
• 依赖校验：如果“订单状态 = 已发货”，则“物流单号”不能为空。

3.4 六维质量评分模型

以下 SVG 图展示如何将六个维度的检测结果聚合为单一质量评分，并映射到看板健康状态：

3.5 监控规则配置清单

在实际部署中，建议为每个维度配置至少一条自动化监控规则。以下清单可作为初始模板：