3. PSI阈值初探：行业通用阈值0.1/0.25的由来、适用场景与局限性分析

在模型监控实践中，PSI（Population Stability Index）是最早被引入、也是最广泛使用的分布漂移度量。绝大多数监控平台和算法工程师在配置告警时，会直接套用两个“黄金数字”：0.1 和 0.25。这两个阈值从何而来？是否适用于所有场景？本章将深入拆解其历史背景、数学依据、适用边界与常见陷阱。

3.1 阈值0.1与0.25的起源

PSI阈值体系最早由信用评分卡行业在20世纪90年代提出，并逐步被风控、营销、推荐系统等领域采纳。其核心逻辑基于对群体分布差异的容忍度分级：

这两个阈值并非来自严格的统计检验，而是基于行业经验积累：在信用评分场景中，0.1大致对应评分卡分数分布移动5-10个点的幅度，0.25则对应15-20个点的移动——这种幅度足以显著改变坏账率预测。

3.2 数学直觉：为什么是0.1和0.25？

从PSI计算公式 PSI = Σ (P_i - Q_i) * ln(P_i / Q_i) 出发，我们可以从两个角度理解阈值的合理性：

• 卡方检验近似： 当分箱数k=10时，PSI × 2N（N为样本量）近似服从自由度为k-1的卡方分布。0.1对应的卡方统计量约为0.2×N，在N=1000时对应p值约0.03——恰好落在“显著但不极端”的区域。
• 信息散度视角： 0.1的KL散度意味着两个分布的平均对数概率比约为0.01，即每个分箱的偏差不超过1%。0.25则对应约2.5%的平均偏差，此时至少有两个分箱的占比变化超过5个百分点。

3.3 适用场景分析

0.1/0.25阈值体系在以下场景中表现良好：

• 信用评分与风控模型： 特征分布稳定、分箱数量固定（通常10-20箱）、样本量充足（N > 5000），且模型输出直接对应业务决策阈值。
• 长期稳定的评分卡系统： 模型更新周期长（6-12个月），分布漂移通常缓慢且单调，阈值能够有效捕捉趋势性变化。
• 二分类概率输出模型： 输出值在[0,1]区间内自然分箱，PSI对概率分布的敏感度与业务容忍度匹配。

3.4 局限性分析

然而，直接套用0.1/0.25阈值在以下场景中会带来严重问题：

3.5 一个典型误判案例

某推荐系统团队直接使用0.1阈值监控CTR模型输出分布。模型输出为50箱概率分布，样本量约2000/天。上线后每天触发告警，排查发现：

• PSI均值0.12，但AUC仅下降0.3%（从0.78降至0.777）
• 分布差异主要来自第3-5箱的随机波动，而非系统性漂移
• 将分箱数从50合并为10后，PSI降至0.04，告警消失

3.6 阈值调优的起点

基于以上分析，我们给出使用0.1/0.25阈值的正确姿势：

1. 作为初始值，而非最终值： 首次部署时使用0.1/0.25，但必须在1-2周内根据实际告警率进行调整。
2. 结合样本量校准： 当样本量N < 3000时，将阈值上调30-50%；当N > 50000时，可适当下调。
3. 分箱数归一化： 使用 PSI_adj = PSI × (10 / k) 对分箱数k进行校正，使不同分箱方案的PSI可比。
4. 业务对齐： 与业务方确认“可接受的性能下降幅度”，反推对应的PSI阈值。

# 分箱数校正示例
def adjust_psi_threshold(k_bins, base_threshold=0.1):
    """
    根据实际分箱数调整PSI阈值
    k_bins: 实际使用的分箱数
    base_threshold: 基准阈值（默认0.1，对应10箱）
    """
    ref_bins = 10  # 参考分箱数
    adjusted = base_threshold * (k_bins / ref_bins) ** 0.5
    return round(adjusted, 3)

# 示例
print(adjust_psi_threshold(20))   # 输出: 0.141
print(adjust_psi_threshold(5))    # 输出: 0.071
print(adjust_psi_threshold(50))   # 输出: 0.224