4. 数据质量检查：缺失值检测、异常值识别、数据一致性校验、时间戳对齐
数据质量是MRM模型稳定运行的基石。在风险异常波动排查中，约60%的“伪波动”源于底层数据质量问题，而非模型逻辑或市场环境变化。本章聚焦四个核心检查维度：缺失值检测、异常值识别、数据一致性校验、时间戳对齐，帮助排查人员快速定位数据层面的根因。
排查原则：先检查数据质量，再分析模型波动。数据质量检查应作为每次异常波动排查的“前置步骤”，避免在脏数据上浪费分析资源。
4.1 缺失值检测
缺失值会直接导致模型输入不完整，引发评分偏移或拒绝率异常。检测重点包括：
- 特征缺失率：计算每个输入特征在当前批次中的缺失比例，与历史基线对比。
- 样本缺失模式：检查缺失是否集中在特定客群（如新客户、高额度客户）或特定时间窗口。
- 缺失影响评估：判断缺失值是否被模型默认填充值替代，以及填充值是否引入偏差。
| 缺失率区间 | 风险等级 | 建议行动 |
|---|---|---|
| < 1% | 低 | 记录日志，持续监控 |
| 1% – 5% | 中 | 排查数据源接口，检查上游系统 |
| 5% – 15% | 高 | 立即暂停模型决策，修复数据管道 |
| > 15% | 严重 | 回滚至备用模型，启动应急流程 |
排查案例：某消费金融平台在2024年Q2发现模型拒绝率从12%骤升至28%。经缺失值检测发现，某外部征信接口因证书过期导致连续3小时返回空值，模型将缺失值默认填充为“0”，导致大量优质客户被误拒。修复接口后，拒绝率次日恢复正常。
4.2 异常值识别
异常值指明显偏离正常分布的数据点，可能由录入错误、系统故障或欺诈行为引起。常用识别方法包括：
- 统计方法：Z-Score（|Z| > 3）、IQR（Q1-1.5×IQR 或 Q3+1.5×IQR）。
- 业务规则：年龄 > 120、收入为负数、额度超出产品上限等。
- 模型方法：孤立森林、LOF（局部异常因子）用于高维特征检测。
注意：异常值不一定是错误值。例如，高净值客户的收入可能天然处于“异常”区间。建议将检测结果分为“业务可解释异常”和“技术异常”两类，分别处理。
| 检测方法 | 适用场景 | 优点 | 局限 |
|---|---|---|---|
| Z-Score | 正态分布特征 | 计算简单，阈值明确 | 对非正态分布不敏感 |
| IQR | 偏态分布特征 | 不受极端值影响 | 对样本量敏感 |
| 孤立森林 | 高维数据 | 线性时间复杂度 | 结果可解释性弱 |
| 业务规则 | 强约束场景 | 可解释性强 | 规则维护成本高 |
4.3 数据一致性校验
一致性校验确保同一实体在不同数据源或不同时间点的数据逻辑自洽。常见校验场景：
- 跨字段一致性：身份证号与出生日期匹配、申请金额与收入水平合理对应。
- 跨系统一致性：核心系统与数据仓库的客户信息一致、风控系统与决策引擎的评分一致。
- 时间序列一致性：同一客户的额度在相邻时间点不应出现无合理解释的跳变。
校验规则示例：
规则ID: CONS-001
描述: 客户年龄与身份证号出生年份一致
逻辑: YEAR(身份证出生日期) == YEAR(客户年龄字段)
严重度: 高
动作: 不一致时标记该样本，触发人工复核4.4 时间戳对齐
时间戳对齐是MRM模型中最容易被忽视但影响最大的数据质量问题。模型依赖多个数据源的时间序列特征，时间戳错位会导致特征值“张冠李戴”。
- 时区对齐：确认所有数据源使用统一时区（推荐UTC），避免因夏令时或跨时区导致偏差。
- 延迟对齐：不同数据源的更新频率不同（实时/准实时/T+1），需明确每个特征的时间基准。
- 窗口对齐：模型使用的滑动窗口（如近30天行为）必须与数据生成时间严格对应。
| 对齐维度 | 常见问题 | 检测方法 | 修复方案 |
|---|---|---|---|
| 时区 | 部分数据源使用本地时间，部分使用UTC | 检查时间戳元数据，对比系统时区配置 | 统一转换为UTC+0 |
| 延迟 | A特征更新延迟2小时，B特征实时更新 | 计算特征到达时间与模型推理时间的差值 | 引入延迟补偿机制或等待窗口 |
| 窗口 | 模型使用“近7天”但数据实际只覆盖5天 | 验证窗口内数据点的实际时间跨度 | 调整窗口计算逻辑或数据补录 |
典型故障：某银行MRM模型在2024年1月出现连续3天的评分异常。排查发现，因上游系统升级，其中一个关键特征的时间戳从UTC+8误改为UTC+0，导致模型将“未来数据”当作历史数据使用，评分分布整体偏移。修复时间戳对齐后，模型恢复正常。
4.5 数据质量检查清单
以下清单可作为日常排查的标准化操作流程：
- 缺失值检测：计算每个特征的缺失率，与基线对比，标记超过阈值的特征。
- 异常值识别：对数值型特征执行Z-Score或IQR检测，对类别型特征检查频次分布。
- 一致性校验：运行预定义的跨字段、跨系统校验规则，生成不一致报告。
- 时间戳对齐：检查所有数据源的时间戳时区、延迟和窗口完整性。
- 汇总报告：将上述检查结果汇总为数据质量评分卡，供模型波动分析使用。
数据质量评分卡示例：
检查维度 | 状态 | 得分 | 备注
缺失值检测 | 通过 | 95 | 仅2个特征缺失率>1%
异常值识别 | 警告 | 70 | 收入字段发现5个异常点
一致性校验 | 通过 | 100 | 所有规则通过
时间戳对齐 | 通过 | 90 | 时区一致，延迟在容忍范围内
综合评分 | 通过 | 88.75| 建议关注异常值识别结果数据质量检查不是一次性工作，而是需要嵌入到MRM模型的日常监控流水线中。建议将上述检查逻辑自动化，每次模型推理前自动执行数据质量预检，从源头阻断脏数据进入模型。