3. 缺失特征定义:缺失率计算、缺失模式分类与模型稳定性影响
缺失特征是风控建模中最常见的数据质量问题之一。在PSI(群体稳定性指标)巡检中,缺失率的变化往往比分布偏移更早暴露风险。本节从计算方式、模式分类和稳定性影响三个维度建立统一认知框架。
3.1 特征缺失率的计算方式
缺失率定义简单,但在生产环境中需要统一口径,否则不同模块计算的数值可能不一致,导致PSI告警误判。
| 计算口径 | 公式 | 适用场景 | 注意事项 |
|---|---|---|---|
| 全局缺失率 | 缺失样本数 / 总样本数 × 100% | 离线批量巡检、全量数据概览 | 需排除因上游延迟导致的临时缺失 |
| 分群缺失率 | 某群体缺失样本数 / 该群体总样本数 × 100% | 按客群、渠道、时间窗口拆分对比 | 分群粒度不宜过细,否则统计不稳定 |
| 滚动窗口缺失率 | 最近N天缺失样本数 / 最近N天总样本数 × 100% | 实时监控、PSI时序计算 | 窗口长度建议≥7天,避免日间波动干扰 |
生产建议:PSI巡检中统一使用滚动窗口缺失率作为输入,窗口长度与PSI计算周期保持一致(通常为7天或30天),避免因口径差异产生误告警。
3.2 缺失模式分类:MCAR / MAR / MNAR
缺失机制决定了缺失率变化时模型风险的传导路径。三种模式在风控场景中的表现差异显著。
| 缺失模式 | 全称 | 定义 | 风控典型场景 | 对PSI的影响 |
|---|---|---|---|---|
| MCAR | 完全随机缺失 | 缺失与否完全独立于任何变量 | 系统随机采样失败、网络抖动丢包 | 缺失率变化通常不伴随分布偏移,PSI告警较少 |
| MAR | 随机缺失 | 缺失与否依赖于其他可观测变量 | 高收入群体更倾向不填收入字段 | 缺失率变化可能伴随其他特征偏移,PSI需联动分析 |
| MNAR | 非随机缺失 | 缺失与否依赖于缺失变量本身 | 逾期客户故意不填联系方式 | 缺失率变化直接反映客群质量变化,PSI告警优先级最高 |
关键认知:风控场景中,MNAR模式下的缺失率上升往往意味着客群质量恶化,此时PSI告警阈值应适当收紧(例如从0.1降至0.05),避免错过风险信号。
3.3 缺失对模型稳定性的影响
缺失率变化通过三条路径影响模型稳定性,PSI巡检需要同时监控这三条路径的传导结果。
- 特征分布偏移:缺失率上升改变特征的有效分布区间,导致模型输入分布与训练期不一致,PSI值升高。
- 缺失值填充扰动:填充策略(均值/中位数/众数/模型预测)在缺失率变化时引入系统性偏差,尤其当填充值分布与真实分布偏离时。
- 模型决策路径改变:树模型在缺失节点上的分裂行为可能随缺失率变化而切换,导致评分逻辑发生结构性变化。
巡检技巧:当PSI告警触发时,先检查缺失率是否在同期发生突变。如果缺失率变化超过5个百分点,优先排查缺失模式是否从MCAR转变为MNAR,这往往是客群质量恶化的前兆。
3.4 缺失率变化与PSI的联动阈值参考
| 缺失率变化幅度 | 缺失模式 | 建议PSI告警阈值 | 处理优先级 |
|---|---|---|---|
| ≤ 2% | MCAR / MAR | 0.10(标准阈值) | 低 |
| 2% ~ 5% | MAR | 0.08(适度收紧) | 中 |
| 5% ~ 10% | MAR / MNAR | 0.05(严格阈值) | 高 |
| > 10% | MNAR | 0.03(紧急阈值) | 最高 |
核心原则:缺失率变化越大、缺失模式越接近MNAR,PSI告警阈值越应收紧。建议在巡检系统中将缺失率变化作为PSI阈值的动态调节因子,实现自适应告警。