4. Challenger 模型设计：候选来源与实验假设
Challenger 模型的设计核心在于“从哪里来”和“怎么验证”。候选来源决定了模型迭代的方向，而实验假设则定义了成功的标准。本节将系统梳理 Challenger 模型的三大候选来源，并给出可量化的实验假设设计框架。
4.1 Challenger 模型的候选来源
Challenger 模型的候选来源可归纳为三大类：新算法、新特征、新策略。每一类在风险场景中的切入点和优化目标各有侧重。
| 候选来源 | 典型示例 | 优化目标 | 适用场景 |
|---|---|---|---|
| 新算法 | LightGBM → XGBoost / 深度学习 / 图神经网络 | 提升 AUC、KS、区分度 | 现有模型区分能力接近瓶颈 |
| 新特征 | 多头借贷特征 / 设备指纹 / 时序聚合特征 | 降低坏账率、提升召回率 | 特征工程存在盲区或信息遗漏 |
| 新策略 | 拒绝捞回 / 动态阈值 / 分客群差异化模型 | 提升通过率、降低误杀率 | 业务策略僵化或客群结构变化 |
选型提示： 实际项目中，Challenger 模型往往不是单一来源的替换，而是“新算法 + 新特征”或“新特征 + 新策略”的组合。建议每次迭代只改变一个变量，以便归因效果来源。
4.1.1 新算法候选
新算法候选通常来自学术界或工业界已验证的先进模型结构。常见候选包括：
- 树模型升级： 从 LightGBM 切换到 CatBoost 或 XGBoost，处理类别特征或缺失值更优。
- 深度学习： 使用 TabNet、NODE 或自注意力网络，捕捉高阶非线性交互。
- 图神经网络： 利用用户关系图谱，挖掘团伙欺诈或关联风险。
- 集成方法： Stacking、Blending 或模型蒸馏，融合多个基模型优势。
4.1.2 新特征候选
新特征候选是风险模型迭代中最常见、见效最快的来源。重点方向包括：
- 外部数据源： 运营商数据、社保公积金、电商消费、多头借贷平台。
- 时序衍生特征： 近 3/6/12 个月的行为趋势、波动率、最大逾期天数。
- 设备与行为特征： 设备指纹、IP 归属地、操作频率、夜间活跃度。
- 文本与 NLP 特征： 申请资料中的异常描述、联系人备注相似度。
4.1.3 新策略候选
新策略候选不直接修改模型参数，而是改变模型的应用方式：
- 拒绝捞回策略： 对 Champion 模型拒绝的客群，用 Challenger 模型二次打分，捞回低风险用户。
- 动态阈值策略： 根据客群、渠道、时间窗口动态调整决策阈值。
- 分客群模型： 为新客、老客、特定渠道分别训练专属 Challenger 模型。
- 模型融合策略： 将 Champion 与 Challenger 的分数按权重融合，平滑过渡。
4.2 设计实验假设
实验假设是 Challenger 模型验证的“标尺”。一个完整的实验假设应包含：假设陈述、评估指标、成功标准、样本设计。
实验假设模板：
“在 [客群/场景] 中，使用 [Challenger 模型] 相比 [Champion 模型]，预期 [指标] 提升 [X%]，且 [副作用指标] 不劣于 [Y]。”
“在 [客群/场景] 中，使用 [Challenger 模型] 相比 [Champion 模型]，预期 [指标] 提升 [X%]，且 [副作用指标] 不劣于 [Y]。”
4.2.1 假设分类与示例
| 假设类型 | 假设陈述示例 | 评估指标 | 成功标准 |
|---|---|---|---|
| 区分度提升 | 使用图神经网络 Challenger 模型，在团伙欺诈识别上 AUC 提升 3% | AUC、KS、Gini | AUC 提升 ≥ 2%，且 KS 不下降 |
| 通过率优化 | 引入多头借贷时序特征后，在相同坏账率下通过率提升 5% | 通过率、坏账率 | 通过率提升 ≥ 3%，坏账率不上升 |
| 误杀降低 | 动态阈值策略在优质客群中误杀率降低 10% | 误杀率、召回率 | 误杀率降低 ≥ 8%，召回率不下降 |
| 稳定性增强 | 使用分客群模型后，PSI 从 0.15 降至 0.08 | PSI、群体稳定性 | PSI < 0.10，且各客群 KS 均达标 |
4.2.2 实验假设的量化设计
量化设计需要明确“多少算赢”。建议采用 最小可检测效应（MDE） 方法：
- 样本量计算： 根据历史坏账率、预期提升幅度、显著性水平（α=0.05）和统计功效（β=0.8），计算所需样本量。
- 时间窗口： 至少覆盖一个完整贷后表现周期（如 30 天、90 天、180 天）。
- 分组设计： Champion 对照组 vs. Challenger 实验组，确保客群分布无显著差异。
常见陷阱： 实验假设过于模糊，如“模型效果更好”或“风险更低”。必须明确“比谁好”、“好多少”、“用什么指标衡量”。否则复盘时无法判断 Challenger 是否真正胜出。
4.3 Challenger 候选来源与实验假设关系图
下图展示了 Challenger 模型候选来源与实验假设之间的映射关系，帮助理解从“候选选择”到“假设验证”的完整链路。
4.4 实验假设设计清单
在实际项目中，建议按照以下清单逐一确认实验假设的完整性：
- 明确对比基准： 当前 Champion 模型的版本号、分数分布、关键指标基线。
- 定义核心指标： 区分度（AUC/KS）、业务指标（通过率/坏账率）、稳定性（PSI）。
- 设定成功阈值： 例如“AUC 提升 ≥ 1.5% 且通过率不下降超过 0.5%”。
- 确定样本范围： 全量客群 / 特定客群 / 特定渠道，并说明样本量。
- 规定时间窗口： 训练期、验证期、表现期的时间范围。
- 记录风险控制： 如果 Challenger 表现劣于 Champion，回退机制是什么。
最佳实践： 将实验假设文档化，并在团队内评审。假设一旦确定，在实验过程中不得随意修改。如需调整，必须重新立项并记录版本变更。
4.5 本章小结
Challenger 模型的设计起点是明确候选来源（新算法、新特征、新策略），终点是设计可量化的实验假设。候选来源决定了“改什么”，实验假设决定了“怎么算赢”。两者结合，才能确保 Challenger 模型在风险复盘中有据可依、有标可量。