2. Champion/Challenger 框架介绍
2.1 什么是 Champion/Challenger 方法论
Champion/Challenger（冠军/挑战者）是金融风控领域最核心的模型迭代管理框架。其基本思想是：在生产环境中同时运行一个或多个候选模型（Challenger），与当前最优模型（Champion）进行实时或离线对比，通过严格的对照实验验证 Challenger 是否在区分能力、稳定性、业务收益等维度上显著优于 Champion。
核心定义： Champion 是当前生产环境中的“最优”模型；Challenger 是待验证的新模型或改进版本。两者在同一时间窗口、同一客群切片上接受公平比较。
2.2 对照实验在模型迭代中的重要性
在信用评分模型的生命周期中，每一次迭代都面临“新模型是否真的更好”的决策风险。对照实验提供了以下关键价值：
- 消除时间偏差： 同一时间窗口内对比，避免宏观环境变化导致的误判。
- 量化增益显著性： 通过统计检验（如 KS 检验、PSI 稳定性检验）判断提升是否来自随机波动。
- 控制业务风险： 小流量实验先行，避免全量切换带来的未知损失。
- 支持多维度评估： 不仅看 AUC/KS，还要看拒绝推断、坏账率、通过率、客群偏移等业务指标。
行业实践： 头部银行和消费金融公司通常要求 Challenger 在至少 3 个月的对照周期内，KS 提升 ≥ 2% 且 PSI ≤ 0.1，才能进入 Champion 替换流程。
2.3 Champion/Challenger 实验流程
一个标准的 Champion/Challenger 对照实验包含以下阶段：
- 基线锁定： 冻结 Champion 模型版本、特征工程、评分卡参数。
- Challenger 构建： 基于新数据、新算法或新特征开发候选模型。
- 离线验证： 在历史回测集上完成初步性能筛选（KS、Gini、Lift 等）。
- 实验设计： 确定流量切分比例（如 90% Champion / 10% Challenger）、客群分层策略。
- 在线对照： 生产环境并行运行，记录每个样本的评分、决策、逾期表现。
- 统计评估： 计算关键指标差异的置信区间，执行假设检验。
- 决策与切换： 若 Challenger 显著优于 Champion，则晋升为新 Champion；否则回滚或继续迭代。
常见陷阱： 流量切分时未考虑客群结构性差异（如高分段 vs 低分段），导致实验结论不可推广。建议按风险分层进行分层随机分配。
2.4 Champion vs Challenger 对比维度
| 对比维度 | Champion | Challenger |
|---|---|---|
| 模型版本 | 当前生产版本 v2.3 | 候选版本 v3.0 |
| 特征集 | 32 个原始特征 | 28 个原始特征 + 5 个衍生特征 |
| 算法 | 逻辑回归 | XGBoost + 逻辑回归集成 |
| KS 值 | 0.42 | 0.45 |
| PSI | 0.03 | 0.04 |
| 坏账率（实验期） | 3.2% | 2.9% |
| 通过率 | 68% | 71% |
2.5 Champion/Challenger 对照实验架构
下图展示了 Champion/Challenger 框架在生产环境中的核心组件与数据流向：
2.6 对照实验的关键统计指标
在 Champion/Challenger 评估中，以下统计指标用于量化模型差异的显著性：
| 指标 | 用途 | Champion 基准 | Challenger 要求 |
|---|---|---|---|
| KS 提升 | 区分能力变化 | 0.42 | ≥ 0.44（提升 ≥ 2%） |
| PSI | 评分分布稳定性 | 0.03 | ≤ 0.10 |
| 坏账率差异 | 业务风险变化 | 3.2% | 降低 ≥ 0.3% 且显著 |
| 通过率变化 | 业务覆盖影响 | 68% | 波动 ≤ 3% |
| p-value（KS 检验） | 统计显著性 | — | < 0.05 |
最佳实践： 建议同时监控 Champion 和 Challenger 的 PSI 时序曲线，若 Challenger 的 PSI 在实验期内持续上升，即使 KS 提升显著，也应暂缓切换，优先排查特征漂移。
2.7 对照实验的流量切分策略
流量切分是实验设计的核心环节，常见的切分方式包括：
- 随机切分： 按固定比例（如 90:10）随机分配流量，简单但可能引入客群偏差。
- 分层随机切分： 按风险等级（低/中/高）或客群类型（新客/老客）分层后随机分配，减少混杂变量影响。
- 时间窗口切分： 按时间段交替使用 Champion 和 Challenger，适用于离线回测场景。
- 自适应切分： 根据实时表现动态调整流量比例（如 Thompson Sampling），适合长期迭代。
推荐方案： 对于信用评分模型，建议采用 分层随机切分，每层内 Champion:Challenger = 80:20，保证低分段和高分段都有足够的 Challenger 样本用于统计检验。
2.8 Champion/Challenger 实验的常见误区
| 误区 | 后果 | 正确做法 |
|---|---|---|
| 仅看 KS/AUC 提升 | 忽略业务指标恶化 | 同时监控坏账率、通过率、客群偏移 |
| 实验周期过短 | 无法捕捉逾期表现 | 至少覆盖 1 个完整账期（如 3 个月） |
| 未做分层分析 | 结论不可推广 | 按风险等级、客群类型分别评估 |
| 忽略 PSI 稳定性 | 模型上线后快速失效 | 要求 PSI ≤ 0.1 且无上升趋势 |
| 流量切分不随机 | 实验偏差 | 使用分层随机分配 |
特别提醒： 当 Challenger 在实验期内表现优于 Champion，但提升幅度较小时（如 KS 提升 0.5%），务必进行 统计显著性检验，避免因随机波动做出错误切换决策。