📚 课程目录第4章特征分布漂移检测

4. 特征分布漂移检测：PSI、KS检验与卡方检验

特征分布漂移是精算模型退化的核心前兆。当模型训练集（基准集）与生产期（监控集）的特征分布发生显著变化时，模型输出的预测概率与损失分布将偏离预期，导致定价偏差、准备金不足或核保效率下降。本章聚焦三种最常用的统计检测方法：群体稳定性指标（PSI）、KS检验与卡方检验，并给出精算场景下的阈值设定建议。

4.1 群体稳定性指标（PSI）

PSI 是精算行业最广泛使用的分布漂移度量，尤其适用于连续型特征或模型评分卡的分箱比较。其核心思想是将基准集与监控集按相同分箱边界划分，计算各箱内占比的差异，并加权求和。

4.1.1 PSI 计算公式

PSI = Σ (P_actual_i - P_expected_i) × ln(P_actual_i / P_expected_i)

其中：
- P_expected_i = 基准集中第 i 个分箱的样本占比
- P_actual_i   = 监控集中第 i 个分箱的样本占比
- i = 1, 2, ..., n（n 为分箱总数）

4.1.2 分箱策略

分箱方式	适用场景	注意事项
等距分箱	特征值范围固定，如年龄、保额	若数据稀疏，空箱会导致 PSI 计算异常
等频分箱	长尾分布特征，如赔付金额	需保证监控集各箱至少有 1 个样本
模型分数分箱	精算评分卡输出概率	通常按 10 或 20 等分，与业务评级对齐

4.1.3 阈值设定与行动建议

PSI 范围	漂移程度	精算行动建议
< 0.10	无显著漂移	继续监控，无需干预
0.10 – 0.25	轻度漂移	标记特征，增加监控频率，检查业务规则变化
> 0.25	严重漂移	触发模型复审，考虑特征重训练或模型更新

精算实务提示：PSI 对分箱数量敏感。建议对连续特征使用 10–20 个分箱；若某分箱在监控集中占比为 0，可将其与相邻分箱合并，避免 ln(0) 计算错误。

4.2 KS 检验（Kolmogorov-Smirnov Test）

KS 检验是一种非参数检验，通过比较基准集与监控集的经验累积分布函数（ECDF）之间的最大垂直距离来判断分布是否相同。在精算特征漂移检测中，KS 检验常用于连续型变量，且不需要预先分箱。

4.2.1 统计量定义

D = max |F_expected(x) - F_actual(x)|

其中：
- F_expected(x) = 基准集的经验累积分布函数
- F_actual(x)   = 监控集的经验累积分布函数
- D 值越大，表示两个分布差异越大

4.2.2 阈值设定

样本量	α = 0.05 临界值（近似）	α = 0.01 临界值（近似）
n1 = n2 = 1000	0.061	0.073
n1 = n2 = 5000	0.027	0.033
n1 = n2 = 10000	0.019	0.023

精算应用建议：KS 检验对样本量敏感。在大样本（如百万级保单）下，即使微小差异也会被判定为显著。建议结合 PSI 或效应量（如 Cohen's d）综合判断，避免过度告警。

4.3 卡方检验（Chi-Square Test）

卡方检验适用于分类特征或离散化后的连续特征。它通过比较基准集与监控集中各类别观测频数与期望频数的差异，判断特征分布是否发生显著变化。

4.3.1 统计量公式

χ² = Σ (O_i - E_i)² / E_i

其中：
- O_i = 监控集中第 i 个类别的观测频数
- E_i = 基准集中第 i 个类别的期望频数（按总样本比例缩放）
- 自由度 df = (类别数 - 1)

4.3.2 适用条件与限制

适用：性别、渠道、险种类别、地区编码等离散特征。
限制：每个类别的期望频数应 ≥ 5，否则需合并类别或使用 Fisher 精确检验。
阈值：通常取 p-value < 0.05 为显著漂移；但精算场景下建议结合 Cramér's V 评估效应大小。

4.4 三种方法对比

方法	适用特征类型	是否需要分箱	对样本量敏感度	精算常用场景
PSI	连续 / 离散均可	是	中等	评分卡输出、保费分布、赔付率分箱
KS 检验	连续	否	高	年龄、保额、免赔额等连续变量
卡方检验	分类	否（天然离散）	中等	渠道、险种、地区等分类变量

4.5 特征漂移检测流程

下图展示了精算模型特征漂移检测的标准流程，从数据采集到告警决策的完整链路。

4.6 精算场景下的综合建议

  最佳实践：建议采用“PSI + KS 检验”组合策略——PSI 作为连续监控的量化指标，KS 检验作为显著性验证。对于分类特征，优先使用卡方检验。所有告警均需结合业务上下文（如费率调整、新渠道上线）进行二次确认，避免纯统计误报。