4. Challenger 模型定义
在 Champion Challenger 框架中，Challenger 模型是作为当前线上 Champion 模型的候选替代方案而开发的。它并非直接上线，而是通过离线评估、影子评分、小流量实验等环节与 Champion 进行对比，只有在验证其综合表现显著优于 Champion 时才会被切换上线。
4.1 什么是 Challenger 模型
Challenger 模型是风控体系中用于探索更优决策能力的实验性模型。它与 Champion 模型共享相同的业务目标（如坏账率、通过率、逾期天数等），但在算法、特征、样本或训练策略上存在差异。Challenger 模型的生命周期包括：
- 候选定义：明确模型目标、评估指标、对比基线。
- 离线开发：特征工程、模型训练、交叉验证。
- 影子评估：在 Champion 模型旁并行打分，不干预线上决策。
- 小流量实验：在真实流量中分桶测试，收集业务效果数据。
- 决策切换：若 Challenger 显著优于 Champion，则晋升为新的 Champion。
关键区别：Champion 是当前最优的线上模型，Challenger 是待验证的候选模型。两者必须使用同一套离线评估框架和线上实验平台，才能保证对比公平。
4.2 Challenger 模型的开发动机
开发 Challenger 模型通常源于以下三类核心动机：
| 动机类别 | 具体原因 | 典型场景 |
|---|---|---|
| 性能提升 | 现有 Champion 模型在 KS、AUC、Lift 等指标上已接近天花板，需要更优算法或更丰富特征来突破瓶颈。 | 引入 GBDT 替代逻辑回归；加入时序特征提升区分度。 |
| 特征更新 | 业务数据源发生变化（新增三方数据、字段废弃、特征分布偏移），需要重新训练模型以适应新特征空间。 | 接入新的征信报告字段；替换已失效的埋点特征。 |
| 合规要求 | 监管政策、数据隐私法规或公平性要求发生变化，必须调整模型输入或输出逻辑。 | 移除敏感属性（性别、地域）；满足可解释性要求（LIME/SHAP）。 |
实践建议：每次开发 Challenger 模型前，应明确记录其动机类型和预期收益，避免“为了换而换”的无效迭代。建议在模型开发文档中增加“动机声明”字段。
4.3 Challenger 模型的候选池管理
随着业务发展，Challenger 模型的数量会逐渐增多。如果没有系统化的候选池管理，容易造成版本混乱、评估重复、资源浪费。候选池管理包含以下核心环节：
- 候选注册：每个 Challenger 模型在开发启动时即注册到模型管理平台，记录模型 ID、版本号、开发负责人、动机类型、目标指标。
- 状态流转：模型经历“开发中 → 离线评估 → 影子测试 → 小流量实验 → 已上线/已废弃”等状态，每个状态变更需审批。
- 优先级排序：根据预期收益、开发成本、风险等级对候选池中的模型进行排序，优先评估高优先级 Challenger。
- 淘汰机制：连续两次离线评估未达标，或小流量实验效果不显著，则标记为“已废弃”并从候选池移除。
- 版本追溯：保留每个 Challenger 模型的完整实验日志、评估报告、代码快照，支持事后审计和复盘。
常见陷阱：候选池中同时存在多个 Challenger 模型时，不要直接进行“冠军挑战赛”式的两两对比。建议先通过离线评估筛选出 Top 2-3 个候选，再进入影子测试和小流量实验，避免实验资源被低质量候选耗尽。
4.4 Challenger 模型与 Champion 的对比维度
在候选池管理中，每个 Challenger 模型都需要与 Champion 模型在以下维度进行系统对比：
| 对比维度 | 评估方法 | 通过标准 |
|---|---|---|
| 区分度 | KS、AUC、Gini | KS 提升 ≥ 0.02 且统计显著 |
| 稳定性 | PSI、特征分布偏移检测 | PSI ≤ 0.1 |
| 业务效果 | 坏账率、通过率、逾期率 | 坏账率下降 ≥ 5% 且通过率不显著下降 |
| 可解释性 | SHAP 值、特征重要性排序 | Top 5 特征业务含义可解释 |
| 计算性能 | 单次打分耗时、内存占用 | 耗时 ≤ Champion 的 1.2 倍 |
管理要点：候选池中的每个 Challenger 模型在进入小流量实验前，必须完成上述五个维度的离线评估，并生成标准化的对比报告。只有五个维度全部达标，才能进入线上实验阶段。