1. 数据质量监控概述
1.1 数据质量的定义
数据质量（Data Quality）是指数据在特定使用环境下满足业务需求的程度。在模型看板场景中，数据质量直接决定了监控指标的可信度与决策的有效性。一个高质量的数据集应同时满足以下六个核心维度：
| 维度 | 定义 | 模型看板中的典型问题 |
|---|---|---|
| 完整性 | 数据记录是否缺失、字段是否为空 | 模型预测结果缺失、特征列空值率突增 |
| 准确性 | 数据值与真实值的一致程度 | 标签错误导致模型评估指标失真 |
| 一致性 | 同一数据在不同系统或时间点是否一致 | 训练集与线上特征分布偏移 |
| 及时性 | 数据从产生到可用的延迟是否满足要求 | 实时看板数据延迟超过 SLA |
| 唯一性 | 数据记录是否存在重复 | 样本 ID 重复导致 AUC 计算偏差 |
| 有效性 | 数据格式、取值范围是否符合业务规则 | 年龄字段出现负数、类别特征出现未定义值 |
核心认知：数据质量不是"全有或全无"的二元状态，而是面向业务场景的连续谱系。同一个数据集，用于离线训练可能质量合格，用于实时监控看板则可能因延迟问题被判定为低质量。
1.2 为什么需要监控数据质量
模型看板是 AI 系统的"仪表盘"，其核心价值在于提供可信的实时决策依据。如果看板底层的数据质量不可控，将引发以下连锁风险：
- 误导性指标——脏数据输入导致模型性能指标（准确率、召回率等）虚高或虚低，掩盖真实问题。
- 错误决策——业务方依据失真的看板数据调整策略，造成资源浪费或业务损失。
- 模型退化未被发现——数据漂移与概念漂移被低质量数据掩盖，错过模型重训窗口。
- 合规与审计风险——金融、医疗等监管行业要求数据可追溯、可验证，无监控则无合规。
- 信任崩塌——反复出现数据异常后，团队对看板失去信任，回归"拍脑袋"决策。
行业教训：某头部互联网公司的推荐模型看板曾因特征管道数据延迟，连续两周展示"点击率提升 15%"的虚假信号，实际线上指标已下滑 8%。事后复盘发现，若在数据入口部署完整性监控，可提前 10 天发现异常。
1.3 监控在模型看板中的角色
数据质量监控在模型看板中承担三层角色，从底层数据管道到顶层业务决策形成完整防护：
从架构视角看，数据质量监控嵌入在模型看板的完整数据流中，形成"采集→校验→计算→展示→告警"的闭环：