1. 课程导论:什么是 PSI,漂移的常见原因与规则冲突的引入
1.1 什么是 PSI(Population Stability Index)
PSI(Population Stability Index,群体稳定性指标) 是衡量两个样本分布之间差异程度的量化指标。在数据质量与风控建模领域,PSI 常用于监控模型输入特征或模型评分在时间维度上的分布变化,从而判断模型所处的环境是否发生显著偏移。
PSI 的计算基于将连续变量分箱后,比较每个箱内实际占比与预期占比的差异。其核心公式如下:
PSI = Σ ( (Actual_i - Expected_i) * ln(Actual_i / Expected_i) )
其中:
- Expected_i:第 i 个分箱中基准样本(如建模样本)的占比;
- Actual_i:第 i 个分箱中当前样本(如上线后样本)的占比;
- ln:自然对数。
PSI 的判定阈值通常如下:
| PSI 值范围 | 稳定性判定 | 建议动作 |
|---|---|---|
| PSI < 0.1 | 无显著漂移 | 模型可继续使用,无需干预 |
| 0.1 ≤ PSI < 0.25 | 轻度漂移 | 需排查原因,加强监控 |
| PSI ≥ 0.25 | 严重漂移 | 必须立即排查,考虑模型重构 |
💡 提示: PSI 对分布变化非常敏感,即使单个分箱的占比发生微小变化,也可能导致 PSI 值显著上升。因此,PSI 是数据质量监控中“早发现”的重要工具。
1.2 PSI 漂移的常见原因概述
PSI 漂移并非单一因素导致,实践中常见的原因可归纳为以下四类:
- 客群结构变化: 市场政策、获客渠道调整或季节性因素导致入模样本的年龄、收入、地域等分布发生改变。
- 数据采集/加工异常: 上游数据源字段缺失、ETL 逻辑变更、空值填充规则不一致等,导致特征值分布突变。
- 外部环境冲击: 宏观经济波动、监管政策出台或突发事件(如疫情)导致用户行为模式整体偏移。
- 规则冲突(本课程核心): 多个数据质量规则或业务规则在同一特征上同时生效,且规则之间存在逻辑矛盾或优先级混乱,导致特征值被错误修正或重复计算,最终引发分布漂移。
🔍 关键洞察: 前三类原因通常有明确的业务或技术事件对应,排查路径相对清晰。而规则冲突导致的漂移往往隐蔽性强、复现困难,是数据治理中最容易被忽视的“隐形杀手”。
1.3 规则冲突作为核心诱因的引入
在数据治理实践中,一个特征字段往往会被多条规则同时约束。例如,对于“用户年龄”字段,可能同时存在以下规则:
- 规则 A: 年龄必须为整数,且范围在 18-100 之间;
- 规则 B: 若年龄字段为空,则使用身份证号中的出生年份推算填充;
- 规则 C: 若年龄 < 18,则强制置为 18(业务合规要求);
- 规则 D: 若年龄 > 70,则标记为“高龄客群”,并参与后续风控策略。
当这些规则被同时执行时,如果执行顺序不当或规则边界重叠,就可能产生冲突。例如:规则 B 填充的年龄可能恰好为 17 岁,随后被规则 C 强制改为 18 岁,但规则 D 的标记逻辑是基于原始填充值计算的,导致标记结果与最终存储值不一致。这种不一致会直接反映在特征分布上,造成 PSI 漂移。
为了直观展示规则冲突如何引发 PSI 漂移,下图描绘了一个典型的冲突传导链路:
从上图可以看出,规则冲突并非直接导致 PSI 漂移,而是通过“特征值异常”和“分布偏移”两个中间环节逐步传导。因此,排查规则冲突型 PSI 漂移时,需要具备以下能力:
- 规则依赖分析: 梳理每个特征字段上所有生效规则的执行顺序与依赖关系;
- 冲突检测: 识别规则之间的逻辑矛盾(如互斥条件、循环依赖、边界重叠);
- 影响评估: 量化冲突对特征分布的具体影响程度,定位漂移源头。
⚠️ 注意: 规则冲突导致的 PSI 漂移往往呈现“间歇性”或“局部性”特征——即只在特定数据批次或特定分箱区间内出现。如果仅观察整体 PSI 值,很容易误判为客群自然波动,从而错过最佳排查时机。