2. 缺失率概念与金融意义
2.1 缺失率定义
缺失率(Missing Rate)是衡量特征数据完整性的核心指标,定义为特征中缺失值数量占总体样本数量的比例。在金融风控场景中,缺失率直接决定特征是否可用于模型训练与实时决策。
| 指标 | 公式 | 示例(样本量 10,000) |
|---|---|---|
| 缺失率 | 缺失值数量 ÷ 总样本数 × 100% | 缺失 500 条 → 缺失率 = 5% |
| 完整率 | 1 − 缺失率 | 完整率 = 95% |
| 有效样本率 | 非缺失值数量 ÷ 总样本数 × 100% | 有效样本率 = 95% |
金融风控阈值参考:缺失率 > 30% 的特征通常被标记为“高缺失特征”,需进入降级或剔除流程;缺失率 > 50% 的特征一般直接废弃。
2.2 缺失数据产生原因
金融特征缺失并非随机事件,其背后往往对应特定的业务或系统问题。理解缺失原因有助于制定差异化的填充策略。
2.3 高缺失率对特征可用性的影响
缺失率超过阈值后,特征的信息含量、统计稳定性和模型贡献度均会显著下降。以下从三个维度评估影响:
| 影响维度 | 缺失率 < 5% | 缺失率 5%–30% | 缺失率 > 30% |
|---|---|---|---|
| 信息含量 | 完整,可直接入模 | 部分缺失,需填充后使用 | 信息严重不足,填充偏差大 |
| 统计稳定性 | 分布稳定,PSI 可控 | 需监控缺失模式漂移 | 缺失模式本身成为噪声源 |
| 模型贡献度 | 特征重要性正常 | 重要性可能被低估 | 模型倾向于忽略该特征 |
| 推荐操作 | 保留,常规监控 | 填充后保留,标记为待观察 | 降级为辅助特征或剔除 |
⚠️ 关键风险:高缺失率特征在训练集与线上服务集之间的缺失模式如果发生漂移(例如训练期缺失 10%,线上缺失 40%),会直接导致 PSI 飙升,触发模型失效预警。缺失率巡检必须与 PSI 巡检联动执行。
2.4 缺失率与 PSI 的联动关系
缺失率变化是 PSI 异常的重要驱动因素之一。当特征缺失率在时间窗口内发生显著变化时,即使非缺失部分的分布未变,整体 PSI 仍可能超标。
实践建议:在金融风控特征巡检中,建议将缺失率监控与 PSI 监控配置在同一张巡检看板上。当 PSI 触发告警时,首先检查缺失率是否发生突变——这能快速区分“分布漂移”与“缺失漂移”两种根因。