3. Champion 模型选择标准：如何从现有生产模型中确定 Champion 模型
在信用评分 PD 模型的生命周期管理中，Champion 模型是指当前生产环境中表现最优、最稳定且符合监管预期的基准模型。确定 Champion 模型并非简单的指标对比，而是一个结合统计评估、业务逻辑与风险偏好的综合决策过程。本节将系统阐述从现有生产模型中筛选 Champion 模型的核心标准、评估指标阈值要求及操作流程。
3.1 Champion 模型选择的核心原则
选择 Champion 模型需遵循以下三条基本原则：
- 区分能力优先：模型必须能够有效区分“好客户”与“坏客户”，这是 PD 模型的基本功能。
- 稳定性保障：模型在时间维度上的表现应保持稳定，避免因客群迁移或经济周期波动导致评分失效。
- 业务可解释性：模型逻辑需符合业务常识与监管要求，避免“黑箱”模型带来的合规风险。
关键提示： Champion 模型不一定是 AUC 最高的模型，而是在“区分能力 + 稳定性 + 可解释性”三角约束下的最优解。单一指标领先不代表整体适用。
3.2 核心评估指标与阈值要求
以下三个指标是业界公认的 Champion 模型评估基准。每个指标均有明确的硬性阈值和参考阈值，用于判断模型是否具备 Champion 资格。
| 指标名称 | 核心含义 | 硬性阈值 | 参考阈值（推荐） | 适用场景 |
|---|---|---|---|---|
| AUC（Area Under Curve） | 模型整体排序能力，ROC 曲线下面积 | ≥ 0.70 | ≥ 0.75 | 通用评估，监管报送常用 |
| KS（Kolmogorov-Smirnov） | 模型对好坏样本的最大区分度 | ≥ 0.30 | ≥ 0.40 | 信贷审批、额度管理 |
| Brier Score | 模型预测概率的校准度（越小越好） | ≤ 0.25 | ≤ 0.15 | 资本计量、压力测试 |
指标解读：
- AUC 反映排序能力，0.70 以下通常认为模型区分能力不足，不适合作为 Champion。
- KS 反映最大区分点，KS 过高（如 > 0.75）需警惕过拟合或变量泄漏。
- Brier Score 反映概率校准质量，Brier Score 越低说明预测概率越接近真实违约率。
3.3 多指标综合决策矩阵
实际工作中，单一指标达标并不足以确定 Champion。以下矩阵展示了不同指标组合下的决策建议：
| AUC | KS | Brier Score | 决策建议 |
|---|---|---|---|
| ≥ 0.75 | ≥ 0.40 | ≤ 0.15 | 直接入选 Champion，三指标均达标 |
| ≥ 0.75 | ≥ 0.40 | 0.15 ~ 0.25 | 需校准概率后重新评估，可暂定 Champion |
| ≥ 0.70 | 0.30 ~ 0.40 | ≤ 0.15 | 区分能力边缘，需结合业务判断 |
| ≥ 0.70 | ≥ 0.40 | ≤ 0.15 | KS 突出但 AUC 一般，需检查变量分布 |
| 任一指标未达硬性阈值 | — | — | 不建议作为 Champion，需模型迭代 |
3.4 Champion 模型选择流程
以下流程图展示了从现有生产模型中筛选 Champion 模型的标准化步骤：
3.5 稳定性检验补充说明
除上述三个核心指标外，Champion 模型还需通过稳定性检验。常用指标包括：
- PSI（Population Stability Index）：衡量模型评分分布随时间的变化，PSI < 0.10 表示稳定，0.10 ~ 0.25 需关注，> 0.25 表示不稳定。
- 变量迁移分析：检查各特征变量的分布偏移情况，避免因单一变量突变导致模型失效。
- 时间外验证：使用最新 OOT（Out-of-Time）样本验证模型表现，确保 Champion 模型在当前客群中依然有效。
常见误区：
- 仅看 AUC 忽略 KS：AUC 高但 KS 低，说明模型在关键决策点区分能力不足。
- 忽略 Brier Score：AUC 和 KS 均达标但 Brier Score 偏高，模型概率校准差，影响资本计量准确性。
- 未做稳定性检验：模型在开发样本表现优异，但上线后因客群漂移迅速失效。
3.6 实际案例：Champion 模型选择决策
假设某金融机构现有三个候选模型，评估结果如下：
| 模型 | AUC | KS | Brier Score | PSI | 决策 |
|---|---|---|---|---|---|
| 模型 A | 0.78 | 0.45 | 0.12 | 0.08 | ✅ 入选 Champion |
| 模型 B | 0.82 | 0.50 | 0.28 | 0.06 | ❌ Brier Score 超标，需校准 |
| 模型 C | 0.72 | 0.35 | 0.14 | 0.15 | ❌ KS 边缘 + PSI 偏高，不推荐 |
模型 A 在三项核心指标和稳定性方面均表现均衡，最终被确定为 Champion 模型。模型 B 虽然区分能力最强，但概率校准不佳，需进行 Platt Scaling 或 Isotonic Regression 校准后再评估。模型 C 则因区分能力不足且稳定性存疑，被排除。
3.7 总结：Champion 模型选择检查清单
在实际操作中，建议按照以下清单逐项确认：
- 区分能力：AUC ≥ 0.70（硬性），推荐 ≥ 0.75；KS ≥ 0.30（硬性），推荐 ≥ 0.40。
- 校准能力：Brier Score ≤ 0.25（硬性），推荐 ≤ 0.15。
- 稳定性：PSI < 0.10；时间外验证 AUC 下降不超过 0.03。
- 业务可解释性：变量方向符合业务常识；无明显的代理变量或数据泄漏。
- 监管合规：模型文档完整；变量定义清晰；通过内部模型验证委员会评审。
最终建议： Champion 模型的选择不是一次性的，建议每季度或每半年进行一次 Champion 模型复审，结合最新 OOT 样本和业务环境变化，动态调整 Champion 模型。当现有 Champion 模型指标跌破硬性阈值或出现显著不稳定性时，应及时启动 Challenger 模型替换流程。