2. 特征稳定性基础:数学定义、核心概念与直观理解
在额度模型的生命周期中,特征分布的变化是导致模型失效的首要原因。理解特征稳定性的数学本质,是监控和诊断批次偏移的前提。本节从数学定义出发,逐步拆解 PSI 与 CSI 的核心逻辑,并通过可视化帮助建立直观认知。
2.1 特征稳定性的数学定义
特征稳定性衡量的是同一特征在不同时间窗口或不同数据集上的分布一致性。从统计角度看,若特征 \( X \) 在参考分布 \( P_{ref} \) 和当前分布 \( P_{cur} \) 下无显著差异,则称该特征稳定。
常用的数学检验方法包括:
| 方法 | 适用场景 | 核心思想 |
|---|---|---|
| PSI (Population Stability Index) | 特征分箱后的分布偏移 | 衡量两个概率分布之间的差异程度 |
| KS 检验 (Kolmogorov-Smirnov) | 连续特征分布差异 | 比较两个累积分布函数的最大垂直距离 |
| JS 散度 (Jensen-Shannon Divergence) | 对称性分布比较 | 基于 KL 散度的对称平滑版本 |
| 卡方检验 (Chi-Square Test) | 分类特征频数变化 | 检验实际频数与期望频数的偏离程度 |
在工业级风控建模中,PSI 是最广泛使用的指标,因为它对分箱后的分布变化敏感,且结果易于解释。
2.2 PSI 与 CSI 的核心概念
2.2.1 PSI:群体稳定性指标
PSI 的计算基于特征分箱后的实际占比与预期占比的差异。其数学公式为:
PSI = Σ (P_actual_i - P_expected_i) * ln(P_actual_i / P_expected_i)
其中:
- P_actual_i = 当前批次在第 i 个分箱中的样本占比
- P_expected_i = 参考批次(如建模样本)在第 i 个分箱中的样本占比
- i = 1, 2, ..., n(n 为分箱数)
PSI 的判定阈值通常如下:
| PSI 值范围 | 稳定性等级 | 建议操作 |
|---|---|---|
| < 0.1 | 稳定 | 无需处理 |
| 0.1 ~ 0.25 | 轻度偏移 | 需关注,排查原因 |
| > 0.25 | 严重偏移 | 必须重新训练或特征工程 |
2.2.2 CSI:特征稳定性指标
CSI 是 PSI 的变体,用于衡量单个特征对模型输出分数变化的贡献程度。其公式为:
CSI = Σ (P_actual_i - P_expected_i) * (Score_i - Score_avg)
其中:
- Score_i = 第 i 个分箱内样本的平均模型分数
- Score_avg = 全体样本的平均模型分数
CSI 的核心价值在于:定位导致模型分数偏移的关键特征。当模型整体 PSI 偏高时,通过 CSI 可以快速找出贡献最大的特征。
关键区别: PSI 衡量特征分布本身的偏移程度;CSI 衡量特征分布偏移对模型输出造成的影响。两者结合使用,可以同时监控“哪里变了”和“影响有多大”。
2.3 特征分布偏移的直观理解
为了更直观地理解分布偏移,我们通过一个额度模型中的典型特征——“近6个月平均收入”来演示。
下图展示了参考分布(建模样本)与当前分布(新进件批次)的对比:
从图中可以直观看到:
- 分布重心偏移:当前分布曲线整体向右移动,说明新进件客户的收入水平整体提高。
- 分箱占比变化:在“10-15k”和“15-20k”分箱中,当前分布占比明显高于参考分布。
- 尾部变化:“30k+”分箱的占比上升,可能意味着客群结构发生系统性变化。
2.4 PSI 计算流程与示例
下面通过一个简化的计算流程,展示 PSI 的具体计算步骤:
- 分箱:将特征值划分为 k 个等频或等距分箱。
- 计算占比:分别计算参考分布和当前分布在各分箱中的样本占比。
- 计算贡献值:对每个分箱计算 (P_cur - P_ref) * ln(P_cur / P_ref)。
- 求和:将所有分箱的贡献值相加,得到 PSI。
实操建议: 在 LightGBM 额度模型中,建议对连续特征使用等频分箱(每箱至少 5% 样本),对离散特征使用原始类别作为分箱。分箱数一般控制在 5~10 个,过多会导致 PSI 对微小波动过于敏感。
以下是一个 PSI 计算示例(基于“近6个月平均收入”特征):
| 分箱区间 | 参考占比 P_ref | 当前占比 P_cur | P_cur - P_ref | ln(P_cur / P_ref) | 贡献值 |
|---|---|---|---|---|---|
| 0-5k | 0.20 | 0.12 | -0.08 | -0.511 | 0.041 |
| 5-10k | 0.30 | 0.25 | -0.05 | -0.182 | 0.009 |
| 10-15k | 0.25 | 0.30 | 0.05 | 0.182 | 0.009 |
| 15-20k | 0.15 | 0.20 | 0.05 | 0.288 | 0.014 |
| 20-30k | 0.07 | 0.08 | 0.01 | 0.134 | 0.001 |
| 30k+ | 0.03 | 0.05 | 0.02 | 0.511 | 0.010 |
| PSI 合计 | 0.084 | ||||
计算得到 PSI = 0.084,小于 0.1,属于稳定范围。但若当前分布继续右移,PSI 将很快突破阈值。
2.5 特征稳定性与模型性能的关联
特征稳定性直接影响模型在跨时间维度上的泛化能力。下图展示了特征稳定性与模型 AUC 衰减之间的关系:
常见误区: 不要认为特征 PSI 低就代表模型一定稳定。如果多个特征的分布同时发生微小偏移(PSI 均小于 0.1),但偏移方向一致,累积效应可能导致模型分数产生系统性偏差。因此,除了监控单个特征的 PSI,还需要监控模型分数的整体 PSI。
2.6 本章小结
- 特征稳定性是衡量特征分布随时间变化程度的指标,PSI 是工业界最常用的量化方法。
- PSI 衡量特征分布本身的偏移;CSI 衡量特征偏移对模型输出的影响。
- PSI 的计算基于分箱后的占比差异,阈值 0.1 和 0.25 是常用的判定边界。
- 特征分布偏移可以通过可视化曲线直观观察,重心移动和分箱占比变化是主要表现形式。
- 特征稳定性与模型性能衰减强相关,是批次偏移监控的第一道防线。