3. PSI实验评估框架设计
在支付风控模型上线前，必须通过严格的实验评估来验证其有效性。PSI（Population Stability Index，群体稳定性指标）实验评估框架的核心在于：通过科学的实验组与对照组设计，结合A/B测试方法论，量化评估风控模型对用户群体分布的影响，并判断模型是否稳定、有效。
3.1 实验组与对照组设计
实验组与对照组的划分是PSI评估的基石。设计原则是：两组用户在实验开始前，其风险特征分布应尽可能一致，唯一的区别是实验组应用了新的风控模型，对照组沿用旧模型或空白策略。
设计要点：
- 随机分流：基于用户ID（如UID）的哈希值进行随机分组，确保两组样本在统计上无显著差异。
- 样本量充足：每组样本量需满足统计功效要求，通常建议每组至少包含10万笔交易或1万个活跃用户。
- 时间同步：实验组与对照组必须在同一时间窗口内运行，避免时间效应（如节假日、营销活动）带来的偏差。
- 隔离性：确保两组用户不会相互干扰，例如同一用户不会同时出现在两组中。
典型的实验设计流程如下表所示：
| 步骤 | 操作 | 说明 |
|---|---|---|
| 1 | 确定评估指标 | 如PSI值、通过率、欺诈率、误杀率 |
| 2 | 用户分层抽样 | 按风险等级、交易类型、渠道等维度分层 |
| 3 | 随机分配 | 使用Hash算法将用户均匀分入实验组与对照组 |
| 4 | 前测验证 | 验证两组在实验前的PSI值是否接近0（通常<0.1） |
| 5 | 执行实验 | 实验组应用新模型，对照组保持原策略 |
| 6 | 后测分析 | 计算实验后的PSI值，评估群体偏移程度 |
3.2 A/B测试在风控模型评估中的应用
A/B测试是PSI实验评估的核心执行方法。在风控领域，A/B测试不仅关注业务指标（如通过率、交易量），更关注模型对用户群体分布的影响，即PSI值的变化。
关键区别：传统A/B测试关注均值差异（如转化率提升），而风控A/B测试更关注分布差异（PSI值）。即使业务指标无显著变化，若PSI值过大（>0.25），说明模型导致用户群体结构发生剧烈偏移，存在风险。
A/B测试在风控模型评估中的实施步骤：
- 定义假设：H0（零假设）：新模型与旧模型的用户评分分布无差异（PSI≈0）；H1（备择假设）：新模型导致用户评分分布发生显著偏移（PSI>0.1）。
- 确定最小样本量：基于预期PSI值和统计功效（通常80%），计算所需样本量。PSI值越小，所需样本量越大。
- 运行实验：通常持续1-2周，覆盖完整的业务周期（包括周末、工作日）。
- 计算PSI：将实验组和对照组的评分分箱，计算每个箱体的占比差异，汇总得到PSI值。
- 统计显著性检验：使用卡方检验或KS检验，判断两组分布差异是否具有统计显著性。
| PSI值范围 | 群体偏移程度 | 风控建议 |
|---|---|---|
| < 0.1 | 无显著偏移 | 模型稳定，可考虑上线 |
| 0.1 - 0.25 | 轻度偏移 | 需监控，分析偏移原因，谨慎上线 |
| > 0.25 | 显著偏移 | 模型不稳定，需重新训练或调整策略 |
3.3 PSI作为评估指标的优劣
PSI是风控模型评估中不可或缺的指标，但它并非万能。理解其优劣，有助于在实际工作中合理使用。
常见误区：PSI值低并不代表模型效果好，它只说明模型评分分布稳定。一个稳定但效果差的模型（如全部拒绝所有交易），其PSI值可能为0，但毫无业务价值。因此，PSI必须与KS、AUC、通过率等业务指标联合使用。
| 维度 | 优势 | 劣势 |
|---|---|---|
| 敏感性 | 对群体分布的整体偏移敏感，能捕捉到细微变化 | 对局部极端值不敏感，可能掩盖个别分箱的剧烈波动 |
| 可解释性 | 数值直观，0-1之间，有明确的阈值参考（0.1/0.25） | 无法解释偏移的具体原因，需要结合分箱明细分析 |
| 通用性 | 适用于任何评分模型，不依赖模型类型 | 对分箱方式敏感，不同分箱策略可能导致PSI值差异 |
| 业务关联 | 直接反映模型上线后对用户群体的影响 | 不能直接衡量模型区分能力，需配合KS/AUC使用 |
| 计算效率 | 计算简单，适合大规模实时监控 | 需要提前定义分箱边界，边界变化时需重新计算 |
最佳实践：
- 将PSI作为模型上线的前置条件：PSI<0.1方可上线，0.1-0.25需人工审核，>0.25禁止上线。
- 建立PSI监控看板，每日/每周自动计算，一旦超过阈值立即告警。
- 结合分箱贡献度分析，找出导致PSI升高的主要分箱，定位问题根源。
- 在A/B测试中，同时报告PSI和业务指标（如欺诈率、误杀率），避免单一指标误导。