3. PSI与模型漂移:区分模型漂移与数据漂移,PSI如何量化特征分布变化

在反洗钱可疑交易监控中,模型上线后性能下降往往源于两种根本不同的漂移:模型漂移与数据漂移。PSI(群体稳定性指标)是量化特征分布变化的核心工具,但只有正确区分漂移类型,才能精准定位问题并优化告警阈值。

3.1 模型漂移 vs. 数据漂移:核心差异

维度 模型漂移(Concept Drift) 数据漂移(Data Drift)
定义 特征与标签之间的映射关系发生变化 输入特征的分布本身发生变化
典型场景 洗钱手法升级,原有规则失效;监管政策调整导致标签定义改变 客户群体结构变化(如新开户激增);数据采集系统升级导致字段格式变化
PSI表现 模型输出分数(Score)的PSI升高 单个或多个输入特征的PSI升高
检测方法 监控模型预测分数分布;监控模型性能指标(如KS、AUC) 监控每个特征的PSI;使用统计检验(KS检验、卡方检验)
修复策略 重新训练模型;调整决策阈值;引入新特征 数据清洗;特征工程调整;重采样或加权
关键认知: 数据漂移是模型漂移的“因”之一,但并非唯一原因。模型漂移可能发生在数据分布完全稳定的情况下(例如洗钱模式突变)。PSI主要用于量化数据漂移,而模型漂移需要结合性能监控综合判断。

3.2 PSI如何量化特征分布变化

PSI通过比较两个时间段(基准期 vs. 观察期)的特征分布差异,输出一个无量纲的数值。其计算逻辑基于分箱后的分布差异累加。

PSI计算公式:

PSI = Σ (P_actual_i - P_expected_i) * ln(P_actual_i / P_expected_i)

其中:
- P_expected_i:基准期(如模型训练集)第 i 个分箱的样本占比
- P_actual_i:观察期(如当前月)第 i 个分箱的样本占比
- i:分箱编号(通常分为10-20个等频或等距分箱)

PSI数值解读标准(行业通用):

  • PSI < 0.1:分布稳定,无需告警。
  • 0.1 ≤ PSI < 0.25:轻度漂移,需关注并排查原因。
  • PSI ≥ 0.25:显著漂移,必须触发告警并启动模型评估流程。
实战建议: 在反洗钱场景中,建议对每个特征设置动态阈值。例如,对于交易金额特征,由于天然存在长尾分布,PSI阈值可适当放宽至0.15;而对于交易频次等相对稳定的特征,阈值可收紧至0.08。

3.3 特征分布漂移的量化流程

使用PSI量化特征分布变化,通常遵循以下步骤:

  1. 确定基准分布:选取模型训练集或最近3-6个月的稳定数据作为基准期。
  2. 特征分箱:对连续型特征进行等频分箱(每箱样本量大致相等),对离散型特征按类别分箱。
  3. 计算占比:分别计算基准期和观察期每个分箱的样本占比。
  4. 代入公式:逐箱计算 (P_actual - P_expected) * ln(P_actual / P_expected) 并求和。
  5. 阈值判定:根据预设阈值判断是否触发告警。
PSI量化特征分布变化流程图 PSI量化特征分布变化流程 基准分布 观察分布 等频/等距分箱 逐箱计算PSI 阈值判定告警 说明:PSI值越大,表示观察期分布相对于基准期的偏移越显著 PSI < 0.1稳定 | 0.1 ≤ PSI < 0.25轻度漂移 | PSI ≥ 0.25显著漂移

3.4 区分漂移类型的实战方法

当PSI触发告警时,需要进一步判断是数据漂移还是模型漂移。以下提供两种实用方法:

  • 方法一:特征PSI vs. 模型分数PSI对比法
    • 如果特征PSI升高但模型分数PSI正常:说明模型对特征变化不敏感,可能是数据漂移但模型鲁棒性较好。
    • 如果模型分数PSI升高但特征PSI正常:说明模型漂移(映射关系变化),需检查模型参数或外部环境。
    • 如果两者同时升高:数据漂移和模型漂移并存,需优先处理数据漂移。
  • 方法二:性能指标交叉验证法
    • 监控模型KS、AUC、精确率、召回率等指标。
    • 如果性能指标显著下降且特征PSI升高 → 数据漂移导致模型失效。
    • 如果性能指标显著下降但特征PSI正常 → 模型漂移(概念漂移)。
常见误区: 不要仅凭PSI值判断模型是否需要重新训练。PSI只反映分布变化,不直接反映模型性能。一个PSI高达0.3的特征,如果模型对该特征赋予的权重很低,可能对最终预测影响甚微。务必结合特征重要性(SHAP值、Gain值)综合评估。

3.5 反洗钱场景中的PSI应用案例

某银行反洗钱系统监控到“单笔交易金额”特征的PSI从0.05骤升至0.32。通过以下步骤定位问题:

步骤 操作 发现
1 检查特征PSI “单笔交易金额”PSI=0.32,其他特征PSI均<0.1
2 检查模型分数PSI 模型分数PSI=0.18(轻度漂移)
3 检查模型性能 KS从0.45降至0.38,召回率下降5%
4 根因分析 发现某第三方支付渠道接入,导致大额交易占比激增
5 修复措施 对该渠道交易进行单独分箱处理,并重新校准模型阈值
漂移类型判定决策树 漂移类型判定决策树 PSI告警触发 特征PSI升高? 模型分数PSI升高? 数据漂移 模型漂移 两者并存 无漂移 提示:实际应用中需结合特征重要性(SHAP值)判断哪些特征的漂移对模型影响最大

3.6 PSI阈值优化的核心原则

  • 特征差异化:不同特征对模型的重要性不同,阈值应结合特征重要性动态调整。高重要性特征(SHAP值高)设置更严格的阈值(如0.1),低重要性特征可适当放宽(如0.2)。
  • 业务场景适配:反洗钱场景中,涉及高风险国家、大额交易等敏感特征,阈值应更严格(如0.08),避免漏报。
  • 时间窗口选择:基准期建议使用3-6个月数据,观察期使用最近1个月数据。季节性业务(如节假日交易高峰)需使用同比窗口(去年同月)作为基准。
  • 分箱策略优化:对于长尾分布特征(如交易金额),建议使用等频分箱+尾部合并策略,避免空箱导致PSI计算不稳定。
总结: PSI是量化特征分布漂移的利器,但必须与模型性能监控、特征重要性分析相结合,才能准确区分数据漂移与模型漂移。在反洗钱场景中,建议建立“特征PSI + 模型分数PSI + 性能指标”三维监控体系,实现精准告警与快速定位。