📚 课程目录第4章 PSI指标详解

4. PSI指标详解：群体稳定性指标(PSI)计算公式、分箱策略、阈值设定

群体稳定性指标（Population Stability Index，PSI）是衡量模型评分分布随时间或样本群体变化程度的量化指标。在XGBoost模型上线后，PSI是监控模型“是否仍然适用于当前数据分布”的核心工具。当模型训练数据与线上实际数据的分布发生显著偏移时，即使模型本身未变，预测性能也会大幅下降。本节将系统讲解PSI的计算原理、分箱策略及阈值设定方法。

4.1 PSI计算公式与数学原理

PSI基于信息论中的相对熵（KL散度）思想，衡量两个概率分布之间的差异。在模型监控场景中，它比较的是预期分布（训练集/基准集）与实际分布（线上/当前集）在每个分数段上的占比变化。

PSI计算公式：

PSI = Σ (实际占比_i - 预期占比_i) × ln(实际占比_i / 预期占比_i)

其中：
- i = 第i个分箱（共N个箱）
- 实际占比_i = 当前样本在第i箱中的比例
- 预期占比_i = 基准样本在第i箱中的比例
- ln = 自然对数

计算步骤：

将模型预测分数（或概率）划分为K个等距或等频区间（分箱）。
分别计算基准样本和当前样本在每个区间内的样本占比。
对每个区间，计算 (实际占比 - 预期占比) × ln(实际占比 / 预期占比)。
将所有区间的结果求和，得到最终的PSI值。

💡 关键理解：PSI对分布差异的敏感度是非线性的。当实际占比与预期占比差异越大，或者某个区间的占比极小时，PSI值会急剧增大。这保证了PSI能够敏锐捕捉到尾部区间的分布漂移。

4.2 分箱策略：如何划分分数区间

分箱是PSI计算中最关键的预处理步骤。不同的分箱策略会直接影响PSI值的稳定性和敏感性。以下是三种主流策略的对比：

分箱策略	方法描述	优点	缺点	适用场景
等距分箱	将分数范围均匀划分为K个等宽区间（如0-100分，每10分一箱）	计算简单，区间边界固定，易于解释	样本分布不均时，部分区间可能为空或样本极少，导致PSI不稳定	分数分布相对均匀的场景
等频分箱	按基准样本的分数分位数划分，使每个区间包含相同数量的基准样本	每个区间都有足够样本，PSI计算稳定；对分布变化敏感	区间边界随基准分布变化，不同模型间难以直接对比	最常用策略，适用于大多数风控、评分卡场景
自定义分箱	根据业务含义或风险等级划分（如：低风险0-30、中风险30-70、高风险70-100）	业务可解释性强，与决策阈值对齐	可能忽略区间内的细微漂移；需要业务专家参与	有明确业务分段标准的场景

推荐实践：在XGBoost模型监控中，通常采用等频分箱（10箱）作为默认策略。10个分箱在统计稳定性和敏感性之间取得了良好平衡。若样本量极大（>10万），可适当增加至20箱；若样本量较小（<5000），建议减少至5箱以避免空箱。

⚠️ 分箱避坑指南：

避免使用过少的分箱（如2-3箱），会掩盖局部漂移。
避免使用过多的分箱（如>50箱），会导致PSI因随机波动而虚高。
分箱边界必须基于基准样本确定，并在后续所有监控周期中固定不变。
若某个区间在基准样本中占比为0，需做平滑处理（如加极小值ε=0.0001），防止除零错误。

4.3 阈值设定：如何判断模型是否稳定

PSI是一个无量纲指标，其数值大小直接反映分布偏移的严重程度。行业通用的阈值标准如下：

PSI值范围	稳定性等级	建议行动
PSI < 0.1	稳定	无需干预，模型表现正常
0.1 ≤ PSI < 0.25	轻度偏移	需关注，检查近期数据是否有结构性变化；可考虑轻量级模型校准
PSI ≥ 0.25	严重偏移	立即告警，需重新训练模型或进行特征工程调整；模型可能已失效

阈值调整建议：

高风险场景（如信贷审批、医疗诊断）：建议收紧阈值至0.1/0.2，提前发现漂移。
低风险场景（如用户偏好推荐）：可放宽至0.15/0.3，减少不必要的告警。
样本量影响：当监控样本量小于基准样本量的1/10时，PSI波动会增大，建议适当上调阈值0.02-0.05。

4.4 PSI计算与监控流程

以下SVG图展示了从基准建立到持续监控的完整PSI巡检流程：

4.5 PSI与XGBoost模型的特殊考量

XGBoost作为树集成模型，其输出分数分布具有以下特点，在PSI监控中需特别注意：

分数聚集性：XGBoost的预测概率往往集中在0和1附近（尤其是过拟合时），导致中间区间样本稀疏。建议使用等频分箱而非等距分箱，避免空箱问题。
特征交互漂移：即使整体PSI在阈值内，某些特征组合的分布可能已发生显著变化。建议同时监控分特征PSI或分群PSI（如按用户群组分别计算）。
模型版本对比：当训练新版本XGBoost模型时，应计算新旧模型在同一验证集上的PSI，确保模型迭代不会引入不必要的分布偏移。

🔧 实战代码片段：Python计算PSI（等频分箱）

import numpy as np
import pandas as pd

def calculate_psi(expected, actual, bins=10):
    """
    计算群体稳定性指标(PSI)
    
    Parameters:
    expected: array-like, 基准样本的预测分数
    actual: array-like, 当前样本的预测分数
    bins: int, 分箱数量（等频分箱）
    
    Returns:
    psi: float, PSI值
    """
    # 基于基准样本确定分位数边界
    percentiles = np.linspace(0, 100, bins + 1)
    bin_edges = np.percentile(expected, percentiles)
    
    # 处理边界重复（当大量样本分数相同时）
    bin_edges = np.unique(bin_edges)
    
    # 计算预期占比
    expected_counts, _ = np.histogram(expected, bins=bin_edges)
    expected_pct = expected_counts / len(expected)
    
    # 计算实际占比
    actual_counts, _ = np.histogram(actual, bins=bin_edges)
    actual_pct = actual_counts / len(actual)
    
    # 平滑处理：避免除零或取对数零
    expected_pct = np.clip(expected_pct, 0.0001, 1.0)
    actual_pct = np.clip(actual_pct, 0.0001, 1.0)
    
    # 计算PSI
    psi = np.sum((actual_pct - expected_pct) * np.log(actual_pct / expected_pct))
    
    return psi

# 使用示例
# psi_value = calculate_psi(train_scores, online_scores, bins=10)
# print(f"PSI = {psi_value:.4f}")

4.6 PSI的局限性及补充指标

PSI虽然是行业标准，但并非万能。以下为其主要局限性及应对方案：

局限性	说明	补充方案
对样本量敏感	小样本时PSI波动大，易误报	使用CSI（特征稳定性指标）逐特征分析；或采用Bootstrap PSI计算置信区间
无法定位漂移来源	PSI只给出整体偏移程度，不指示哪个特征或样本子群导致漂移	结合SHAP值分布监控，分析特征贡献度的变化
对单调偏移不敏感	若所有样本分数整体平移，PSI可能变化不大，但模型决策边界已受影响	同时监控模型性能指标（AUC、KS、准确率）的变化趋势
阈值主观性强	0.1/0.25阈值来自经验，不同业务场景需调整	基于历史数据计算PSI的基线分布，使用统计控制图（如Shewhart图）设定动态阈值

以下SVG图展示了PSI与补充指标构成的多维度模型稳定性监控体系：

4.7 小结：PSI最佳实践清单

分箱策略：默认使用等频10箱，基于基准样本确定固定边界。
计算频率：每日或每周计算一次，与模型推理周期对齐。
阈值设定：0.1/0.25为通用标准，高风险场景可收紧至0.1/0.2。
联动分析：PSI告警时，立即查看CSI、SHAP和性能指标，定位漂移根因。
基准更新：每季度或模型重训后，重新建立基准分布。
分层监控：对关键用户群（如高价值客户、新客）分别计算PSI，避免全局指标掩盖局部漂移。