3. PSI实验评估框架：贷后预警实验的A/B测试设计、PSI作为评估指标的必要性、实验组与对照组设定
贷后预警模型的上线并非终点，而是持续验证与优化的起点。在真实业务环境中，模型效果会因客群迁移、政策调整、经济周期等因素发生偏移。本章聚焦于如何通过严谨的A/B测试框架，将PSI（群体稳定性指标）作为核心评估指标，科学地设计实验组与对照组，从而量化预警模型在时间维度上的稳定性。
3.1 贷后预警实验的A/B测试设计
A/B测试是评估模型迭代效果的金标准。在贷后预警场景中，实验设计需遵循“单一变量原则”，即仅替换预警模型版本，而保持其他业务规则、催收策略、数据源一致。
3.1.1 实验设计核心要素
| 要素 | 说明 | 贷后预警场景示例 |
|---|---|---|
| 实验对象 | 进入预警监控的存量或新增信贷客户 | 近3个月有余额的信用卡账户 |
| 分流机制 | 随机或按客户ID哈希分桶 | 按客户号末两位奇偶分流 |
| 实验组 | 应用新预警模型（V2.0） | 新模型输出预警等级与触发规则 |
| 对照组 | 沿用旧预警模型（V1.0） | 旧模型输出预警等级与触发规则 |
| 评估周期 | 至少覆盖一个完整贷后管理周期 | 30天/60天/90天滚动观察 |
| 评估指标 | PSI、KS、AUC、坏账率、催收回收率 | PSI作为稳定性核心指标 |
3.1.2 分流与随机化策略
为避免选择偏差，推荐使用分层随机抽样或客户ID哈希取模。分层变量可包括：授信额度区间、历史逾期天数、产品类型。确保实验组与对照组在关键特征上分布一致。
避坑提示： 切勿按“是否触发预警”直接分组，这会导致幸存者偏差。必须在上线前完成随机分流，而非根据模型输出结果事后分组。
3.2 PSI作为评估指标的必要性
在贷后预警实验中，模型效果（如AUC、KS）的提升固然重要，但若模型分数分布发生剧烈偏移，即使短期效果看似良好，长期也会导致策略失效。PSI正是衡量这种分布偏移的定量指标。
3.2.1 为什么需要PSI？
- 捕捉客群迁移： 新模型可能对某些客群过度敏感或钝化，PSI能反映整体分数分布的变化。
- 预警策略失效风险： 若PSI过高，说明模型打分的相对排序已改变，基于旧分位数的预警阈值将不再适用。
- 补充区分度指标： AUC/KS衡量排序能力，PSI衡量分布稳定性，两者互补，缺一不可。
3.2.2 PSI在实验中的评估标准
| PSI值范围 | 稳定性等级 | 业务建议 |
|---|---|---|
| < 0.1 | 高度稳定 | 模型可正常上线或持续使用 |
| 0.1 ~ 0.25 | 轻度偏移 | 需监控趋势，检查分箱细节 |
| > 0.25 | 显著偏移 | 模型需重新训练或调整阈值 |
实验评估技巧： 在A/B测试中，同时计算实验组与对照组相对于“基准期（如模型训练期）”的PSI。若实验组PSI显著高于对照组，说明新模型引入了额外的分布偏移，需谨慎上线。
3.3 实验组与对照组设定
实验组与对照组的设定直接决定实验结论的可靠性。在贷后预警场景中，需特别注意“时间对齐”与“样本量平衡”。
3.3.1 设定原则
- 同期对比： 实验组与对照组必须在同一时间窗口内运行，避免因时间效应（如节假日、政策变化）导致偏差。
- 样本量充足： 每组至少包含数千至数万个样本，以保证PSI计算时每个分箱有足够的观测值。
- 策略隔离： 实验组和对照组使用相同的催收策略，仅模型输出不同，否则无法归因。
3.3.2 实验组与对照组PSI对比分析框架
下图展示了贷后预警A/B测试中，实验组与对照组PSI评估的完整流程：
3.3.3 实验组与对照组PSI对比决策矩阵
在实际评估中，需综合两组PSI的绝对值与相对差异，做出上线决策：
| 实验组PSI | 对照组PSI | 解读 | 决策建议 |
|---|---|---|---|
| < 0.1 | < 0.1 | 两组均稳定，新模型未引入额外偏移 | 可考虑上线新模型 |
| < 0.1 | 0.1 ~ 0.25 | 新模型反而更稳定，旧模型存在偏移 | 优先上线新模型，并排查旧模型问题 |
| 0.1 ~ 0.25 | < 0.1 | 新模型引入轻度偏移，需分析原因 | 暂缓上线，检查分箱与特征变化 |
| > 0.25 | < 0.1 | 新模型显著偏移，稳定性差 | 拒绝上线，回退至旧模型 |
| > 0.25 | > 0.25 | 整体客群发生系统性迁移 | 暂停实验，排查外部环境变化 |
重要提醒： PSI仅衡量分布偏移，不直接衡量模型效果。若实验组PSI偏高但AUC显著提升，需结合业务容忍度综合判断。建议设置“PSI上限阈值”，一旦超过即自动触发告警，避免模型带病上线。
3.4 实验评估报告模板（核心字段）
一份完整的贷后预警PSI实验评估报告应包含以下关键部分：
# 贷后预警模型A/B测试评估报告
## 1. 实验基本信息
- 实验编号：EXP-2025-003
- 实验组模型：预警模型V2.0（XGBoost）
- 对照组模型：预警模型V1.0（逻辑回归）
- 实验周期：2025-01-01 至 2025-03-31
- 样本量：实验组 45,230 / 对照组 45,180
## 2. PSI评估结果
| 分组 | 基准期 | 实验期 | PSI值 | 稳定性等级 |
|------|--------|--------|-------|------------|
| 实验组 | 2024Q4 | 2025Q1 | 0.08 | 高度稳定 |
| 对照组 | 2024Q4 | 2025Q1 | 0.15 | 轻度偏移 |
## 3. 分箱明细（Top 3偏移分箱）
| 分数区间 | 基准期占比 | 实验组占比 | 对照组占比 | 贡献度 |
|----------|-----------|-----------|-----------|--------|
| 0.7-0.8 | 12.3% | 15.1% | 11.9% | 0.034 |
| 0.5-0.6 | 22.1% | 19.8% | 22.5% | 0.021 |
| 0.3-0.4 | 18.7% | 20.2% | 18.5% | 0.015 |
## 4. 结论与建议
- 实验组PSI=0.08，优于对照组PSI=0.15，新模型分布更稳定。
- 建议：批准预警模型V2.0上线，并持续监控后续3个月PSI。
通过以上框架，贷后预警实验的评估不再仅依赖单一指标，而是将PSI作为稳定性维度的核心度量，与AUC、KS等区分度指标共同构成完整的评估体系，确保模型在真实业务场景中既有效又稳定。