4. 挑战者模型定义：目的、来源与候选池管理
在 Champion / Challenger 实验框架中，挑战者模型（Challenger Model）是相对于当前线上运行的冠军模型（Champion Model）而言的备选方案。挑战者模型并非直接上线，而是通过离线验证与在线 A/B 实验，评估其是否在区分能力、稳定性、可解释性或业务收益上超越冠军模型。本章将系统阐述挑战者模型的核心目的、三大来源以及候选池管理机制。
核心原则：挑战者模型必须与冠军模型在同一时间窗口、同一样本空间下进行公平对比，避免数据穿越与样本偏差。
4.1 挑战者模型的目的
挑战者模型的设计与引入并非为了“替换而替换”，而是围绕以下四个关键目标展开：
| 目标维度 | 具体说明 | 业务价值 |
|---|---|---|
| 性能提升 | 在 AUC、KS、Gini 等区分度指标上超越冠军模型 | 降低坏账率，提升审批通过率 |
| 稳定性增强 | PSI（群体稳定性指标）更低，跨时间窗口泛化能力更强 | 减少模型衰退导致的决策波动 |
| 可解释性优化 | 使用更透明的算法（如逻辑回归替代 XGBoost）或提供 SHAP 归因 | 满足监管合规与业务理解需求 |
| 业务适配 | 针对特定客群（如新户、小微）或特定产品（如现金贷、分期）定制 | 提升细分场景的决策精准度 |
实战提示：并非所有挑战者模型都需要追求全面超越。例如，若冠军模型 AUC=0.78，挑战者 AUC=0.77 但 PSI 降低 40%，在稳定性优先的场景下仍可能被选为新冠军。
4.2 挑战者模型的三大来源
挑战者模型的来源可归纳为三个核心维度：新算法、新特征、新样本。三者可独立使用，也可组合构建复合挑战者。
4.2.1 新算法（Algorithm Innovation）
指采用与冠军模型不同的机器学习算法或建模策略。常见方向包括：
- 线性模型 → 树模型：逻辑回归替换为 LightGBM / XGBoost，捕捉非线性交互。
- 集成策略变化：单模型替换为 Stacking / Blending 集成。
- 深度学习引入：使用 TabNet / NODE 等深度表格模型处理高维稀疏特征。
- 校准方法升级：Platt Scaling 替换为 Isotonic Regression，改善概率输出质量。
4.2.2 新特征（Feature Innovation）
在冠军模型特征集基础上，引入新的信息源或特征工程方法：
- 外部数据源：多头借贷、运营商数据、电商消费标签、社保公积金等。
- 衍生特征：时序统计量（近 3 月最大逾期天数）、比率特征（收入/负债比）、交叉特征（年龄×额度使用率）。
- 嵌入特征：通过 Word2Vec / Graph Embedding 生成的用户行为表征。
4.2.3 新样本（Sample Innovation）
指在建模样本的选取方式或样本构成上做出改变：
- 样本时间窗口调整：从近 12 个月扩展至近 24 个月，或采用滚动窗口训练。
- 样本权重策略：对近期样本赋予更高权重（时间衰减采样），或对少数类进行过采样/欠采样。
- 样本过滤规则：剔除特定异常客群（如中介包装客群），或新增特定客群（如学生客群）。
注意：新样本来源的挑战者模型必须严格验证样本代表性。若训练样本与线上实时客群分布发生偏移，即使离线指标优异，上线后也可能出现严重衰退。
4.3 挑战者候选池管理
随着模型迭代次数增加，挑战者模型的数量会快速增长。若无有效管理机制，候选池将变得混乱，导致实验资源浪费与决策延迟。候选池管理包含以下关键环节：
4.3.1 候选池生命周期
每个挑战者模型从进入候选池到最终下线，经历四个阶段：
- 提案阶段：提交挑战者方案，记录算法、特征、样本变更说明。
- 离线验证阶段：在固定验证集上计算核心指标，通过阈值（如 AUC ≥ 冠军×0.98）方可进入候选池。
- 在线实验阶段：分配流量进行 A/B 测试，观察 30-90 天表现。
- 归档/晋升阶段：若显著优于冠军则晋升为新冠军；否则归档至历史库。
4.3.2 候选池管理规则
| 管理维度 | 规则描述 | 推荐参数 |
|---|---|---|
| 容量上限 | 候选池中同时存在的挑战者模型数量上限 | 5-10 个（视团队规模与计算资源） |
| 存活时间 | 挑战者模型在候选池中的最长停留时间 | 90 天（超时自动归档） |
| 最低性能门槛 | 离线 AUC 不低于冠军模型的 95% | 0.95 × Champion_AUC |
| 重复检测 | 特征集相似度 > 90% 的挑战者合并或剔除 | Jaccard 相似度阈值 0.9 |
| 优先级排序 | 按“性能增益 × 实验紧迫度”排序，优先测试高潜力模型 | 评分公式：Score = ΔAUC × 0.6 + ΔPSI × 0.4 |
4.3.3 候选池管理流程（SVG）
4.4 候选池管理最佳实践
- 版本化记录：每个挑战者模型需记录算法版本、特征列表、样本范围、训练参数、离线指标，确保实验可复现。
- 定期清理：每月对候选池进行健康度检查，剔除长期未进入实验或性能衰退的模型。
- 并行实验限制：同时运行的在线实验不超过 3 个，避免流量碎片化导致统计功效不足。
- 冠军模型保护：挑战者模型在实验期间不得影响冠军模型的流量分配，默认冠军模型保留 70% 以上流量。
效率建议：建立挑战者模型模板，包含固定的评估报告格式（AUC、KS、PSI、Lift 图、校准曲线），减少重复沟通成本，加速候选池流转。