3. PSI异常升高的常见原因概览
PSI(Population Stability Index)异常升高本质上是模型评分分布发生显著变化。理解其背后的驱动因素是排查工作的第一步。根据实践经验,PSI飙升通常可归因于以下四大类原因:数据分布偏移、特征缺失、样本选择偏差和外部环境变化。
核心原则:PSI 仅反映分布差异,不直接指明原因。排查时需要结合业务逻辑、特征工程和样本构成进行交叉验证。
3.1 数据分布偏移
这是最常见的原因,指模型输入特征的统计分布(均值、方差、分位数或类别占比)在验证集与训练集之间发生系统性变化。
- 数值特征漂移:例如用户收入水平整体上升,导致收入特征分布右移。
- 类别特征漂移:例如职业分布中“自由职业”占比从10%升至25%。
- 相关性变化:特征与目标变量之间的关系强度改变,间接影响模型输出分布。
3.2 特征缺失
特征缺失率或缺失模式的变化会直接改变模型可用的信息量,进而影响评分分布。
| 缺失类型 | 典型表现 | 对PSI的影响 |
|---|---|---|
| 整体缺失率上升 | 某字段缺失率从2%升至20% | 模型被迫使用默认值或插补值,分布偏移 |
| 缺失模式改变 | 缺失从随机变为与坏样本相关 | 引入系统性偏差,评分分布扭曲 |
| 新增缺失字段 | 上游数据源中断,某特征全部为空 | 模型输出可能退化为常数或截断分布 |
排查技巧:计算验证集与训练集每个特征的缺失率差值,若差值超过5个百分点,应优先排查该特征。
3.3 样本选择偏差
验证样本的构成与训练样本不一致,导致模型在“不同的人群”上评分。
- 时间窗口差异:训练集来自Q1,验证集来自Q4,客群季节性变化明显。
- 渠道/客群变化:模型上线后吸引了不同渠道的用户,例如从线下转为线上。
- 过滤规则变化:风控策略调整后,进入模型评分环节的样本质量发生改变。
3.4 外部环境变化
模型无法控制的宏观或政策因素导致评分分布整体迁移。
- 经济周期:经济下行期,用户还款能力普遍下降,模型评分整体走低。
- 监管政策:新法规限制某些数据使用,特征定义被迫修改。
- 市场行为:竞品推出新产品,导致优质客群流失,验证集客群结构劣化。
重要提醒:四种原因往往不是孤立出现的。例如,外部环境变化(如疫情)可能导致数据分布偏移和样本选择偏差同时发生。排查时建议从“特征缺失率”和“特征分布”两个最易量化的维度入手。
原因对比速查表
| 原因类别 | 典型PSI贡献特征 | 排查优先级 | 常用验证方法 |
|---|---|---|---|
| 数据分布偏移 | 连续特征均值/分位数变化 | 高 | KS检验、分位数对比图 |
| 特征缺失 | 缺失率突变特征 | 最高 | 缺失率对比表、缺失模式分析 |
| 样本选择偏差 | 客群画像特征(年龄、渠道) | 中 | PSI分层计算、渠道对比 |
| 外部环境变化 | 所有特征整体偏移 | 中 | 时间序列分解、宏观指标关联 |