4. 特征缺失率一致性校验：训练/验证/上线后缺失率对比方法与阈值设定
特征缺失率是信用评分模型开发与监控中最基础、最敏感的稳定性指标之一。缺失率在训练集、验证集与上线后线上样本之间发生显著偏移，通常意味着数据采集链路断裂、上游系统变更、接口字段废弃或业务规则调整。本节系统阐述缺失率一致性校验的对比方法、统计指标与工程化阈值设定策略。
4.1 缺失率对比的核心维度
缺失率一致性校验需要覆盖三个关键时间窗口，每个窗口对应不同的数据来源与业务含义：
| 对比维度 | 数据来源 | 样本量要求 | 对比目标 |
|---|---|---|---|
| 训练集 vs 验证集 | 建模样本（历史） | 全量 | 确认建模阶段内部切分无偏 |
| 训练集 vs 上线后 | 线上实时/离线批处理 | ≥ 最近 7 天或 ≥ 10,000 笔 | 检测生产环境数据采集是否一致 |
| 验证集 vs 上线后 | 线上实时/离线批处理 | ≥ 最近 7 天或 ≥ 10,000 笔 | 交叉验证偏移方向与幅度 |
实践要点： 上线后缺失率统计应排除模型拒绝样本（拒绝推断样本），仅使用评分通过或实际放款样本，避免因拒绝策略导致的缺失率失真。
4.2 缺失率对比的统计方法
针对不同特征类型与业务场景，推荐以下三种对比方法：
- 绝对差值法（Δ Missing Rate）
计算训练集缺失率与上线后缺失率的绝对差值。适用于所有特征类型，计算简单，易于设定统一阈值。
Δ = |MR_train - MR_online| - 相对变化率法（Relative Change）
计算缺失率的相对变化百分比。适用于缺失率本身较低（如 < 5%）的特征，避免绝对差值在小基数下被放大。
RC = |MR_online - MR_train| / max(MR_train, 0.001) - 卡方独立性检验（Chi-square Test）
构建 2×2 列联表（缺失/非缺失 × 训练/上线），检验两个分布是否独立。适用于大样本场景，p 值 < 0.05 视为显著偏移。
χ² = Σ (O - E)² / E
推荐组合： 生产环境建议同时使用绝对差值法 + 相对变化率法，前者控制绝对偏移幅度，后者捕捉低缺失率特征的敏感变化。
4.3 阈值设定策略
阈值设定需综合考虑特征重要性、缺失率基线水平与业务容忍度。以下为行业通用参考阈值：
| 特征类型 | 基线缺失率 | 绝对差值阈值 | 相对变化阈值 | 监控频率 |
|---|---|---|---|---|
| 核心强特征（IV > 0.1） | 任意 | ± 3% | ± 50% | 每日 |
| 中等特征（0.02 < IV ≤ 0.1） | 任意 | ± 5% | ± 80% | 每日 |
| 弱特征（IV ≤ 0.02） | 任意 | ± 10% | ± 100% | 每周 |
| 低缺失率特征 | < 5% | ± 2% | ± 100% | 每日 |
| 高缺失率特征 | ≥ 30% | ± 5% | ± 30% | 每日 |
避坑提示： 切勿对所有特征使用统一阈值。高缺失率特征（如 80%）的绝对差值 5% 可能只是正常波动，而低缺失率特征（如 0.5%）的绝对差值 2% 意味着缺失率翻了 4 倍，必须立即告警。
4.4 缺失率一致性校验流程
下图展示了从数据采集到告警决策的完整校验流程：
4.5 异常缺失率的根因排查清单
当缺失率触发告警阈值时，建议按以下优先级进行根因排查：
- 数据源链路检查： 上游接口是否返回空值、超时或报错？数据仓库 ETL 任务是否失败？
- 字段映射变更： 上游系统是否修改了字段名、数据类型或枚举值？映射表是否未同步更新？
- 业务规则调整： 是否新增了前置校验规则导致部分样本无法获取该字段？
- 样本构成漂移： 线上客群是否发生结构性变化（如渠道变更、产品调整）导致该字段自然缺失？
- 数据治理问题： 是否因数据脱敏、权限变更或存储策略调整导致字段被截断或清空？
案例： 某消费金融模型上线后，“单位电话”特征缺失率从训练集的 12% 骤升至 68%。根因分析发现，线上 APP 改版后该字段由“必填”改为“选填”，导致大量用户跳过。解决方案：回滚表单配置或对该特征进行缺失值重编码。
4.6 缺失率监控报表设计
生产环境建议每日生成特征缺失率监控报表，核心字段如下：
| 特征名称 | 训练集缺失率 | 昨日缺失率 | Δ 绝对差值 | RC 相对变化 | 阈值状态 | 告警等级 |
|---|---|---|---|---|---|---|
| income_amount | 2.3% | 2.5% | +0.2% | +8.7% | 正常 | 无 |
| work_phone | 12.1% | 68.4% | +56.3% | +465.3% | 超阈值 | P0 紧急 |
| house_loan_status | 0.8% | 1.2% | +0.4% | +50.0% | 超阈值 | P2 警告 |
自动化建议： 将缺失率校验脚本嵌入每日数据质量流水线，结合企业微信/钉钉/邮件自动推送告警。告警等级建议分为 P0（紧急，需立即响应）、P1（重要，当日处理）、P2（警告，本周处理）三级。