4. Challenger 模型定义：挑战者模型的来源与改进目标
在 Champion / Challenger 框架中，Challenger 模型是作为当前线上 Champion 模型的候选替代方案。其核心价值在于通过引入新的算法、变量或样本，在风险区分能力、稳定性或业务解释性上实现可量化的提升。本章将系统阐述 Challenger 模型的三大来源、核心假设以及明确的改进目标。
4.1 Challenger 模型的三大来源
Challenger 模型并非凭空产生，其来源可归纳为以下三个维度：
| 来源维度 | 具体内容 | 典型场景 |
|---|---|---|
| 新算法 | 采用与 Champion 不同的机器学习算法或统计方法 | 从逻辑回归切换为 XGBoost、LightGBM、神经网络或集成模型 |
| 新变量 | 引入 Champion 模型中未使用的特征或衍生变量 | 增加外部征信数据、行为埋点特征、文本 NLP 特征或图关系变量 |
| 新样本 | 使用不同的训练样本窗口、样本定义或采样策略 | 扩大观察期、引入跨周期样本、调整坏样本定义或使用对抗验证样本 |
实操要点： 实际项目中，Challenger 模型往往同时包含多个来源的变更。例如，使用新算法（XGBoost）+ 新变量（外部征信数据）+ 新样本（近 12 个月滚动窗口），以最大化改进潜力。但验证时需注意区分各来源的独立贡献。
4.2 Challenger 模型的假设前提
任何 Challenger 模型在提出时，都隐含以下关键假设，这些假设将在后续验证环节被严格检验：
- 区分能力提升假设： Challenger 模型在 AUC、KS、Gini 等指标上显著优于 Champion 模型，且提升幅度具有统计显著性。
- 稳定性等价或更优假设： Challenger 模型在时间序列上的 PSI（群体稳定性指标）和变量稳定性不劣于 Champion 模型。
- 业务可解释性假设： Challenger 模型的决策逻辑在业务层面可被理解，且关键变量的业务含义与风险直觉一致。
- 部署可行性假设： Challenger 模型的计算资源消耗、推理延迟、依赖环境等满足生产部署要求。
- 样本代表性假设： 新样本或新采样策略能够代表未来申请客群的分布，不存在严重的样本选择偏差。
避坑提示： 很多 Challenger 模型在离线测试中表现优异，但上线后因稳定性不足或变量缺失导致效果大幅衰减。因此，假设 2（稳定性）和假设 5（样本代表性）是验证中的重中之重。
4.3 Challenger 模型的改进目标体系
改进目标必须可量化、可对比。以下为标准的改进目标体系：
| 目标类别 | 核心指标 | 改进阈值（参考） | 验证方法 |
|---|---|---|---|
| 区分能力 | AUC、KS、Gini、Lift | AUC 提升 ≥ 0.02 或 KS 提升 ≥ 3% | 交叉验证、Bootstrap 显著性检验 |
| 排序一致性 | Spearman 秩相关、Kendall Tau | 与 Champion 的排序一致性 ≥ 0.85 | 秩相关分析、分位数对比 |
| 稳定性 | PSI、变量 PSI、特征重要性漂移 | PSI < 0.1（强稳定）或 < 0.25（可接受） | 时间序列回测、滚动窗口验证 |
| 业务解释性 | SHAP 值、变量贡献度、单调性检验 | Top 10 变量业务含义可解释，无反向单调 | SHAP 依赖图、部分依赖图（PDP） |
| 部署效率 | 推理时间、内存占用、模型大小 | 推理时间 < 50ms，内存占用 < 2GB | 压测、性能基准测试 |
4.4 Challenger 模型来源与改进目标的关系图
以下 SVG 图展示了 Challenger 模型的三大来源如何映射到具体的改进目标，形成完整的验证闭环：
4.5 Challenger 模型定义文档模板
在项目实践中，每个 Challenger 模型必须附带标准定义文档，以下为推荐模板：
# Challenger 模型定义文档
## 1. 基本信息
- Challenger ID: CH-2024-001
- 创建日期: 2024-06-01
- 负责人: [姓名]
- 关联 Champion 版本: V3.2
## 2. 来源说明
- [ ] 新算法: [具体算法名称及版本]
- [ ] 新变量: [新增变量列表及来源]
- [ ] 新样本: [样本窗口、定义、采样方式]
## 3. 改进假设
- 假设 1: [区分能力提升假设，含预期 AUC 提升幅度]
- 假设 2: [稳定性假设，含 PSI 容忍阈值]
- 假设 3: [业务可解释性假设]
- 假设 4: [部署可行性假设]
## 4. 改进目标（量化）
- 区分能力: AUC ≥ 0.78（Champion 为 0.75）
- 稳定性: PSI < 0.1（验证集）
- 排序一致性: Spearman ≥ 0.85
- 推理时间: < 30ms（单条）
## 5. 风险点与缓解措施
- 风险 1: [如新变量缺失率高] → 缓解: [如设置默认值策略]
- 风险 2: [如算法过拟合] → 缓解: [如早停、正则化]
重要提醒： Challenger 模型定义文档必须在模型开发完成后、验证开始前完成评审。任何未经过正式定义的 Challenger 模型，不得进入 Champion / Challenger 验证流程。这是避免“验证结果无法归因”的关键管控措施。
4.6 本章小结
Challenger 模型的定义是 Champion / Challenger 验证的起点。其来源（新算法、新变量、新样本）决定了改进的潜力，而明确的假设与量化目标则为后续验证提供了可衡量的标尺。在实际操作中，建议为每个 Challenger 模型建立独立的定义文档，并确保所有利益相关方对改进目标达成共识，从而为后续的离线回测与在线验证奠定坚实基础。