2. Champion/Challenger 实验基础
Champion/Challenger（冠军/挑战者）实验是信用评分模型生命周期管理中最重要的验证与迭代机制。它通过将现有生产模型（Champion）与候选新模型（Challenger）进行并行对比，在真实业务流量中验证 Challenger 是否在区分能力、稳定性或业务收益上显著优于 Champion，从而决定是否替换上线。
核心思想：不依赖离线指标的单边决策，而是让模型在真实数据流中“竞争上岗”，用业务结果说话。
2.1 Champion/Challenger 实验的概念
Champion/Challenger 实验是一种并行对照实验，其基本结构如下：
- Champion（冠军模型）：当前在生产环境中运行、承担实际评分任务的模型。它是被挑战的基准。
- Challenger（挑战者模型）：一个或多个候选新模型，可能是基于新算法、新特征、新样本周期或新策略构建的版本。
- 流量分配：将入模申请流量按预设比例（如 90% Champion : 10% Challenger）随机分流，保证两组样本在时间、客群分布上一致。
- 评估指标：在实验周期内，对比两组在 KS、AUC、PSI、坏账率、通过率、逾期回收率等关键指标上的表现。
- 决策机制：若 Challenger 在统计显著性和业务可接受范围内全面优于 Champion，则晋升为新 Champion；否则继续保留原 Champion 或下线 Challenger。
2.2 与传统 A/B 测试的区别
Champion/Challenger 实验虽然与互联网行业的 A/B 测试在形式上相似，但在信用评分场景下存在本质差异。下表从多个维度进行对比：
| 对比维度 | 传统 A/B 测试 | 信用评分 Champion/Challenger |
|---|---|---|
| 实验目标 | 优化用户体验、点击率、转化率等短期指标 | 验证模型区分能力、稳定性、风险收益平衡 |
| 样本周期 | 通常数天至数周，快速迭代 | 通常 3~12 个月，需覆盖完整贷款生命周期 |
| 评估指标 | 均值类指标（CTR、CVR、停留时长） | 分布类指标（KS、AUC、PSI）及业务指标（坏账率、通过率） |
| 流量分配 | 通常 50%:50% 或 80%:20%，追求统计功效 | Champion 占 80%~95%，Challenger 占 5%~20%，控制风险敞口 |
| 风险容忍度 | 低风险，即使实验失败影响有限 | 高风险，Challenger 表现不佳可能导致坏账飙升 |
| 决策门槛 | 统计显著性（p-value < 0.05） | 统计显著性 + 业务可接受性 + 稳定性验证 |
| 回滚机制 | 一键回滚，成本低 | 回滚需重新审批，且已放款订单无法撤回 |
关键差异提醒：信用评分实验的“观测周期”远长于传统 A/B 测试。一个 Challenger 模型可能在 3 个月内表现优异，但在 6 个月后出现显著衰减。因此，Champion/Challenger 实验必须设计足够长的观察窗口，并引入 PSI 等稳定性指标作为否决条件。
2.3 适用场景
Champion/Challenger 实验并非适用于所有模型迭代场景。以下列出典型适用与不适用的情况：
✅ 适用场景
- 模型算法升级：从逻辑回归切换为 XGBoost、LightGBM 或深度学习模型。
- 特征体系重构：引入外部征信数据、替代数据或特征工程优化后的新特征集。
- 评分卡版本迭代：基于新样本周期（如最近 12 个月）重新训练的评分卡。
- 策略规则调整：在评分基础上叠加新的拒绝规则或额度分配策略。
- 细分客群专属模型：为特定客群（如学生、小微企业主）构建的专用模型，与通用模型对比。
❌ 不适用场景
- 紧急修复：生产模型出现严重 bug 或数据漂移，需立即下线替换，无时间做并行实验。
- 监管合规变更：监管要求必须在指定日期前更换模型或调整策略，无法等待实验周期。
- 微小调整：仅调整评分卡中某个变量的权重或分箱边界，影响过小，实验无法检测出显著差异。
- 样本量不足：月均申请量低于 1,000 笔，分流后 Challenger 组样本过少，统计功效不足。
实践建议：在启动 Champion/Challenger 实验前，先进行离线回测（Backtesting）和模拟分流（Simulation），确保 Challenger 在离线数据上至少比 Champion 提升 5%~10% 的 KS 或 AUC，否则在线实验大概率无法通过显著性检验。
2.4 实验设计的关键要素
一个完整的 Champion/Challenger 实验设计至少包含以下 6 个要素：
- 明确实验假设：例如“Challenger 模型在保持通过率不变的前提下，将 6 个月逾期率降低 15%”。
- 定义成功标准：包括主要指标（如 KS 提升 0.05 以上）和否决指标（如 PSI > 0.1 则自动失败）。
- 确定样本量与实验周期：基于历史数据计算所需样本量，确保统计功效 ≥ 80%。
- 设计分流机制：采用用户 ID 哈希或时间片轮转，保证分流随机且可复现。
- 建立监控看板：实时跟踪两组的关键指标差异，设置预警阈值。
- 制定决策与回滚计划：明确实验结束后的晋升条件、灰度策略和紧急回滚流程。