3. PSI与模型漂移:区分模型漂移与数据漂移,PSI如何量化特征分布变化
在反洗钱可疑交易监控中,模型上线后性能下降往往源于两种根本不同的漂移:模型漂移与数据漂移。PSI(群体稳定性指标)是量化特征分布变化的核心工具,但只有正确区分漂移类型,才能精准定位问题并优化告警阈值。
3.1 模型漂移 vs. 数据漂移:核心差异
| 维度 | 模型漂移(Concept Drift) | 数据漂移(Data Drift) |
|---|---|---|
| 定义 | 特征与标签之间的映射关系发生变化 | 输入特征的分布本身发生变化 |
| 典型场景 | 洗钱手法升级,原有规则失效;监管政策调整导致标签定义改变 | 客户群体结构变化(如新开户激增);数据采集系统升级导致字段格式变化 |
| PSI表现 | 模型输出分数(Score)的PSI升高 | 单个或多个输入特征的PSI升高 |
| 检测方法 | 监控模型预测分数分布;监控模型性能指标(如KS、AUC) | 监控每个特征的PSI;使用统计检验(KS检验、卡方检验) |
| 修复策略 | 重新训练模型;调整决策阈值;引入新特征 | 数据清洗;特征工程调整;重采样或加权 |
关键认知: 数据漂移是模型漂移的“因”之一,但并非唯一原因。模型漂移可能发生在数据分布完全稳定的情况下(例如洗钱模式突变)。PSI主要用于量化数据漂移,而模型漂移需要结合性能监控综合判断。
3.2 PSI如何量化特征分布变化
PSI通过比较两个时间段(基准期 vs. 观察期)的特征分布差异,输出一个无量纲的数值。其计算逻辑基于分箱后的分布差异累加。
PSI计算公式:
PSI = Σ (P_actual_i - P_expected_i) * ln(P_actual_i / P_expected_i)
其中:
- P_expected_i:基准期(如模型训练集)第 i 个分箱的样本占比
- P_actual_i:观察期(如当前月)第 i 个分箱的样本占比
- i:分箱编号(通常分为10-20个等频或等距分箱)
PSI数值解读标准(行业通用):
- PSI < 0.1:分布稳定,无需告警。
- 0.1 ≤ PSI < 0.25:轻度漂移,需关注并排查原因。
- PSI ≥ 0.25:显著漂移,必须触发告警并启动模型评估流程。
实战建议: 在反洗钱场景中,建议对每个特征设置动态阈值。例如,对于交易金额特征,由于天然存在长尾分布,PSI阈值可适当放宽至0.15;而对于交易频次等相对稳定的特征,阈值可收紧至0.08。
3.3 特征分布漂移的量化流程
使用PSI量化特征分布变化,通常遵循以下步骤:
- 确定基准分布:选取模型训练集或最近3-6个月的稳定数据作为基准期。
- 特征分箱:对连续型特征进行等频分箱(每箱样本量大致相等),对离散型特征按类别分箱。
- 计算占比:分别计算基准期和观察期每个分箱的样本占比。
- 代入公式:逐箱计算 (P_actual - P_expected) * ln(P_actual / P_expected) 并求和。
- 阈值判定:根据预设阈值判断是否触发告警。
3.4 区分漂移类型的实战方法
当PSI触发告警时,需要进一步判断是数据漂移还是模型漂移。以下提供两种实用方法:
- 方法一:特征PSI vs. 模型分数PSI对比法
- 如果特征PSI升高但模型分数PSI正常:说明模型对特征变化不敏感,可能是数据漂移但模型鲁棒性较好。
- 如果模型分数PSI升高但特征PSI正常:说明模型漂移(映射关系变化),需检查模型参数或外部环境。
- 如果两者同时升高:数据漂移和模型漂移并存,需优先处理数据漂移。
- 方法二:性能指标交叉验证法
- 监控模型KS、AUC、精确率、召回率等指标。
- 如果性能指标显著下降且特征PSI升高 → 数据漂移导致模型失效。
- 如果性能指标显著下降但特征PSI正常 → 模型漂移(概念漂移)。
常见误区: 不要仅凭PSI值判断模型是否需要重新训练。PSI只反映分布变化,不直接反映模型性能。一个PSI高达0.3的特征,如果模型对该特征赋予的权重很低,可能对最终预测影响甚微。务必结合特征重要性(SHAP值、Gain值)综合评估。
3.5 反洗钱场景中的PSI应用案例
某银行反洗钱系统监控到“单笔交易金额”特征的PSI从0.05骤升至0.32。通过以下步骤定位问题:
| 步骤 | 操作 | 发现 |
|---|---|---|
| 1 | 检查特征PSI | “单笔交易金额”PSI=0.32,其他特征PSI均<0.1 |
| 2 | 检查模型分数PSI | 模型分数PSI=0.18(轻度漂移) |
| 3 | 检查模型性能 | KS从0.45降至0.38,召回率下降5% |
| 4 | 根因分析 | 发现某第三方支付渠道接入,导致大额交易占比激增 |
| 5 | 修复措施 | 对该渠道交易进行单独分箱处理,并重新校准模型阈值 |
3.6 PSI阈值优化的核心原则
- 特征差异化:不同特征对模型的重要性不同,阈值应结合特征重要性动态调整。高重要性特征(SHAP值高)设置更严格的阈值(如0.1),低重要性特征可适当放宽(如0.2)。
- 业务场景适配:反洗钱场景中,涉及高风险国家、大额交易等敏感特征,阈值应更严格(如0.08),避免漏报。
- 时间窗口选择:基准期建议使用3-6个月数据,观察期使用最近1个月数据。季节性业务(如节假日交易高峰)需使用同比窗口(去年同月)作为基准。
- 分箱策略优化:对于长尾分布特征(如交易金额),建议使用等频分箱+尾部合并策略,避免空箱导致PSI计算不稳定。
总结: PSI是量化特征分布漂移的利器,但必须与模型性能监控、特征重要性分析相结合,才能准确区分数据漂移与模型漂移。在反洗钱场景中,建议建立“特征PSI + 模型分数PSI + 性能指标”三维监控体系,实现精准告警与快速定位。