3. 稳定性与漂移基础

稳定性与漂移基础 学习卡片

在信贷风控模型的生命周期中,模型上线只是起点。真正决定模型能否持续创造价值的,是它在时间推移中面对客群变化、政策调整、渠道迁移时,是否仍然保持稳定。本章聚焦稳定性与漂移的基础概念,帮助你在后续监控实战中选对指标、读懂信号。

一、核心原理:什么是稳定性与漂移

稳定性描述的是模型输入、输出或整体表现在不同时间窗口之间保持一致的程度。它并不直接等同于模型效果好坏,而是衡量“分布是否发生显著变化”。漂移则是稳定性被破坏的具体表现,指数据分布、特征与目标的关系或模型输出随时间发生了统计意义上的偏移。

在信贷场景中,漂移通常分为三类:

  • 数据漂移(Data Drift):输入特征 X 的分布发生变化,例如收入分布整体下移、某渠道申请量激增。
  • 概念漂移(Concept Drift):特征与目标 Y 的真实关系改变,例如同样的征信查询次数,在不同宏观环境下对违约的指示意义不同。
  • 模型漂移(Model Drift):模型输出分数 score 或预测结果的分布发生变化,通常由前两者传导而来。

理解这三类漂移的传导链条,是选择监控指标的前提:数据漂移最先发生,概念漂移最难察觉,模型漂移最容易被业务感知。

二、指标区别与联系:PSI、CSI、KL、JS

稳定性监控中最常用的四个指标,本质上都在比较两个分布的差异,但适用对象和数学性质不同。

指标 全称 比较对象 核心特点 典型阈值
PSI Population Stability Index 模型分数或整体人群分布 对称、分箱计算、业务解释直观 <0.1 稳定;0.1~0.25 关注;>0.25 预警
CSI Characteristic Stability Index 单个特征分布 计算方式同 PSI,但对象是特征 与 PSI 类似,按特征逐个评估
KL 散度 Kullback-Leibler Divergence 两个概率分布 非对称、无上界、对零概率敏感 无固定阈值,多用于相对比较
JS 散度 Jensen-Shannon Divergence 两个概率分布 对称、有界(0~1)、对零概率更稳健 越接近 0 越稳定,接近 1 差异极大

它们之间的联系可以这样理解:PSI 与 CSI 是业务化的分箱差异指标,计算简单、解释直接;KL 与 JS 是信息论视角的分布距离,数学性质更严谨。PSI 在分箱后本质上与 KL 的离散形式高度相关,而 JS 可以看作 KL 的对称化改进版本。

选择建议:日常监控优先用 PSI 看模型分数、CSI 看关键特征;当需要更精细地比较分布形状、或分箱边界不稳定时,引入 KL/JS 作为补充。

三、方法流程:从计算到判断

以 PSI 为例,标准计算流程如下:

  1. 确定基准窗口(如训练集或上一稳定周期)和对比窗口(如本月)。
  2. 对分数或特征进行分箱,常用等频分箱,箱数 10~20。
  3. 统计每个箱在两个窗口中的占比。
  4. 按公式计算并汇总。
PSI = Σ (Actual% - Expected%) × ln(Actual% / Expected%)

其中:
Expected% = 基准窗口该箱占比
Actual%   = 对比窗口该箱占比
若某箱占比为 0,需做平滑处理,如替换为 0.0001

KL 与 JS 的计算逻辑类似,但直接基于概率值:

KL(P || Q) = Σ P(x) × ln(P(x) / Q(x))
JS(P, Q)   = 0.5 × KL(P || M) + 0.5 × KL(Q || M)
其中 M = 0.5 × (P + Q)

实操中建议固定分箱边界,避免每次监控重新分箱导致指标不可比。若必须重分箱,应在监控报告中标注边界变化。

四、案例与场景:一次渠道迁移引发的漂移

某消费信贷模型上线后,PSI 连续三个月低于 0.05,表现稳定。第四个月,公司调整获客策略,某低线渠道申请量占比从 8% 升至 35%。此时监控发现:

  • 模型分数 PSI 升至 0.18,进入关注区间;
  • 特征“月收入”CSI 达到 0.31,明显预警;
  • JS 散度从 0.04 升至 0.21,分布差异显著扩大。

进一步拆解发现,新渠道客群收入整体偏低且分布更集中,导致模型分数向低分段偏移。业务侧随后对该渠道单独设置准入策略,并对模型进行局部重校准。这个案例说明:PSI 是结果信号,CSI 是定位工具,KL/JS 是验证手段,三者配合才能快速归因。

五、误区与复盘

常见误区一:PSI 低就代表模型没问题。PSI 只反映分数分布,若概念漂移发生但分数分布恰好未变,PSI 可能仍然正常。需结合效果指标如 KS、AUC 共同判断。

常见误区二:所有特征都用同一阈值。不同特征的业务敏感度不同,收入类特征 CSI 超过 0.1 就应关注,而某些类别型特征波动天然较大,阈值可适当放宽。

常见误区三:忽略零概率处理。KL 散度对 Q(x)=0 极其敏感,直接计算会得到无穷大。生产环境必须做平滑,或改用 JS 散度。

复盘时建议建立一张“指标—漂移类型—处置动作”的对照清单:数据漂移优先查特征 CSI,概念漂移优先看效果指标与业务反馈,模型漂移优先看 PSI 与分数分布。只有把指标和漂移类型对应起来,监控才不是一堆数字,而是可执行的决策依据。