信用评分PD模型Champion对照指南 - 第1节
1.1 Champion/Challenger 框架定义
Champion/Challenger（冠军/挑战者）框架是信用评分PD模型生命周期管理中最重要的实验验证机制。其核心思想是：在生产环境中同时运行一个当前最优模型（Champion）与一个或多个候选新模型（Challenger），通过对照实验比较它们的预测性能、稳定性和业务影响，从而决定是否用Challenger替换Champion。
1.1.1 Champion 模型
Champion 是当前生产环境中表现最稳定、经过充分验证的信用评分PD模型。它通常满足以下条件：
- 历史验证充分：至少经过12个月的样本外与跨时间验证
- 业务适配度高：与当前信贷策略、审批流程深度耦合
- 监管合规：通过模型风险管理（MRM）审计
- 性能基准：KS、AUC、PSI等核心指标在可接受阈值内
1.1.2 Challenger 模型
Challenger 是待验证的新模型或改进版本，可能来源于：
- 新的特征工程（如替代数据、行为特征）
- 不同的算法（如XGBoost替代逻辑回归）
- 调整后的样本定义或观察窗口
- 重新校准的评分卡参数
关键区别：Champion 是“已验证的生产模型”，Challenger 是“待验证的候选模型”。两者必须同时运行在相同的业务数据流上，才能进行公平对照。
1.2 对照实验的核心价值
在信用评分PD模型管理中，对照实验不是可选项，而是风险控制的刚性需求。其核心价值体现在以下四个维度：
| 维度 | 价值描述 | 典型场景 |
|---|---|---|
| 风险控制 | 避免未经验证的模型直接上线导致信贷损失 | 新模型在坏账率上出现10%的偏差，对照实验提前发现 |
| 性能量化 | 在相同业务环境下比较KS、AUC、Lift等指标 | Challenger的AUC提升0.03，但PSI恶化，需综合判断 |
| 业务可解释 | 通过分群对比理解模型差异的业务含义 | Challenger对年轻客群评分更激进，需评估风险收益 |
| 监管合规 | 满足巴塞尔协议、央行模型验证的文档化要求 | 监管要求提供模型替换的对照实验报告 |
1.3 Champion/Challenger 对照实验流程
一个标准的对照实验包含以下五个阶段：
- 设计阶段：定义实验目标、选择Challenger、确定评价指标（KS/AUC/PSI/Lift）
- 并行运行阶段：Champion与Challenger同时接收相同的实时或离线数据，输出PD预测值
- 结果收集阶段：记录两个模型在每个样本上的预测分数、实际违约标签、时间戳
- 统计分析阶段：计算差异显著性（如McNemar检验、Delong检验）、稳定性对比、分群分析
- 决策阶段：根据预设的“替换阈值”决定是否用Challenger替换Champion，或继续观察
实践建议：建议Challenger的并行运行周期至少覆盖3个完整的账期（如3个月），以捕捉不同经济周期下的表现差异。
1.4 Champion/Challenger 框架架构图
下图展示了Champion/Challenger框架在生产环境中的核心数据流与决策逻辑：
1.5 对照实验的决策矩阵
在实际业务中，Champion与Challenger的对比结果通常落入以下四种决策情景：
| Challenger 性能 | Challenger 稳定性 | 决策建议 | 说明 |
|---|---|---|---|
| 显著优于Champion | 稳定（PSI < 0.1） | 立即替换 | Challenger在性能和稳定性上均占优，可直接上线 |
| 显著优于Champion | 不稳定（PSI > 0.15） | 暂缓替换，深入分析 | 性能提升可能来自过拟合或样本偏差，需延长观察期 |
| 与Champion持平 | 稳定 | 保留Champion | 无显著增益，避免不必要的模型变更风险 |
| 劣于Champion | 任意 | 拒绝Challenger | 性能倒退，直接淘汰 |
注意：不要仅依赖单一指标做决策。例如，Challenger的AUC提升0.02但PSI恶化至0.2，此时应优先关注稳定性问题，而非盲目追求性能提升。
1.6 对照实验的常见误区
- 样本不一致：Champion和Challenger必须使用完全相同的样本集，否则对比无效
- 时间窗口错位：两个模型应同时开始运行，避免因经济周期差异导致误判
- 忽略业务成本：模型替换涉及系统改造、策略调整、人员培训等隐性成本
- 过度依赖统计显著性：p值显著但实际提升幅度很小（如AUC提升0.005），业务价值有限