2. 缺失率概念与金融意义

2.1 缺失率定义

缺失率(Missing Rate)是衡量特征数据完整性的核心指标,定义为特征中缺失值数量占总体样本数量的比例。在金融风控场景中,缺失率直接决定特征是否可用于模型训练与实时决策。

指标 公式 示例(样本量 10,000)
缺失率 缺失值数量 ÷ 总样本数 × 100% 缺失 500 条 → 缺失率 = 5%
完整率 1 − 缺失率 完整率 = 95%
有效样本率 非缺失值数量 ÷ 总样本数 × 100% 有效样本率 = 95%
金融风控阈值参考:缺失率 > 30% 的特征通常被标记为“高缺失特征”,需进入降级或剔除流程;缺失率 > 50% 的特征一般直接废弃。

2.2 缺失数据产生原因

金融特征缺失并非随机事件,其背后往往对应特定的业务或系统问题。理解缺失原因有助于制定差异化的填充策略。

金融特征缺失原因分类 缺失数据 系统故障 ETL中断 / 接口超时 用户不填 非必填项 / 隐私拒绝 数据源变更 字段下线 / 接口升级 调度失败 数据库连接超时 收入字段跳过 联系人信息拒绝 字段废弃 API 版本升级 💡 不同缺失原因对应不同的填充策略与风险权重 系统故障 → 重跑补录;用户不填 → 模型推断;数据源变更 → 特征重构

2.3 高缺失率对特征可用性的影响

缺失率超过阈值后,特征的信息含量、统计稳定性和模型贡献度均会显著下降。以下从三个维度评估影响:

影响维度 缺失率 < 5% 缺失率 5%–30% 缺失率 > 30%
信息含量 完整,可直接入模 部分缺失,需填充后使用 信息严重不足,填充偏差大
统计稳定性 分布稳定,PSI 可控 需监控缺失模式漂移 缺失模式本身成为噪声源
模型贡献度 特征重要性正常 重要性可能被低估 模型倾向于忽略该特征
推荐操作 保留,常规监控 填充后保留,标记为待观察 降级为辅助特征或剔除
⚠️ 关键风险:高缺失率特征在训练集与线上服务集之间的缺失模式如果发生漂移(例如训练期缺失 10%,线上缺失 40%),会直接导致 PSI 飙升,触发模型失效预警。缺失率巡检必须与 PSI 巡检联动执行。

2.4 缺失率与 PSI 的联动关系

缺失率变化是 PSI 异常的重要驱动因素之一。当特征缺失率在时间窗口内发生显著变化时,即使非缺失部分的分布未变,整体 PSI 仍可能超标。

缺失率变化驱动 PSI 漂移示例 训练期 缺失率 = 5% 非缺失分布:A 线上服务期 缺失率 = 35% 非缺失分布:A(不变) PSI = 0.35(超标) 仅因缺失率从 5% 升至 35% 结论:缺失率巡检是 PSI 巡检的前置防线,缺失率异常必须优先排查
实践建议:在金融风控特征巡检中,建议将缺失率监控与 PSI 监控配置在同一张巡检看板上。当 PSI 触发告警时,首先检查缺失率是否发生突变——这能快速区分“分布漂移”与“缺失漂移”两种根因。