PSI 应用场景：模型监控、特征漂移检测与数据分布对比
群体稳定性指标（PSI）的核心价值在于量化两个概率分布之间的差异程度。在机器学习生产环境中，PSI 被广泛应用于三个关键场景：模型输出监控、特征漂移检测以及数据分布对比。理解这些场景有助于我们精准定位漂移源头，并为后续的阈值调优提供业务上下文。
场景一：模型输出监控（分数/概率漂移）
这是 PSI 最经典的应用。模型上线后，其输出的预测分数（如信用评分、点击率概率）或决策结果（如分类标签）会随时间变化。通过比较当前生产窗口与训练集/基准窗口的分数分布，可以判断模型行为是否发生显著偏移。
- 监控对象：模型预测值（连续型需分箱）、决策概率、分类结果。
- 典型触发条件：业务策略调整、客群结构变化、宏观经济波动。
- 告警意义：模型预测能力可能衰减，需要重新训练或校准。
实战案例：某信贷风控模型在“双十一”期间 PSI 从 0.05 飙升至 0.25，经排查发现是因为促销活动导致申请客群中“高收入低负债”用户占比骤增，模型对该群体的评分分布与训练集严重偏离。
场景二：特征漂移检测（输入变量分布变化）
模型性能下降往往源于输入特征的分布变化。对每个特征单独计算 PSI，可以快速定位哪些字段发生了漂移。特征级 PSI 监控是模型可解释性和根因分析的重要工具。
| 特征类型 | 分箱策略 | PSI 计算方式 | 典型漂移原因 |
|---|---|---|---|
| 连续型（如年龄、收入） | 等距分箱 / 等频分箱 | 按箱计算实际占比 vs 预期占比 | 数据采集口径变化、用户群体迁移 |
| 离散型（如职业、地区） | 按类别自然分组 | 按类别计算占比差异 | 业务规则更新、渠道流量变化 |
| 文本嵌入（如 BERT 向量） | 聚类后分箱 / 分位数分箱 | 按聚类簇计算分布差异 | 语义偏移、新词涌现 |
最佳实践：建议对每个特征设置独立的 PSI 阈值。对于业务含义稳定的特征（如年龄），阈值可设低至 0.05；对于波动性较大的特征（如营销活动标识），阈值可放宽至 0.15。
场景三：数据分布对比（训练/测试/生产一致性验证）
在模型开发与部署的多个阶段，PSI 被用作数据一致性验证的量化指标。它帮助团队回答一个核心问题：当前生产数据是否与模型训练时看到的数据来自同一分布？
- 训练集 vs 验证集：确保数据切分没有引入系统性偏差。
- 训练集 vs 上线初期生产数据：验证模型部署时的数据环境是否匹配。
- 不同时间窗口的生产数据：周度、月度、季度分布对比，用于长期漂移趋势分析。
常见误区：不要仅依赖 PSI 绝对值做决策。当样本量极大时，微小但无业务意义的分布差异也可能导致 PSI 偏高；反之，样本量过小时 PSI 可能低估真实漂移。建议结合业务逻辑和统计显著性检验综合判断。
场景对比总结
| 对比维度 | 模型输出监控 | 特征漂移检测 | 数据分布对比 |
|---|---|---|---|
| 监控粒度 | 模型整体 | 单个特征 | 数据集级别 |
| 计算频率 | 每日 / 每小时 | 每日 / 每周 | 模型上线时 / 每周 |
| 告警阈值参考 | 0.10 - 0.25 | 0.05 - 0.15 | 0.05 - 0.10 |
| 根因定位能力 | 弱（仅知模型漂移） | 强（定位具体特征） | 中（判断数据一致性） |
| 业务干预方式 | 模型重训 / 回滚 | 特征工程调整 / 数据修复 | 数据管道检查 / 样本加权 |