3. Champion Challenger 核心概念：Champion、Challenger 与 A/B 测试

Champion Challenger（冠军/挑战者）试验是反欺诈风控中持续优化模型的核心机制。其基本思想是：在生产环境中同时运行一个或多个候选模型，通过对比实际业务效果，选出最优模型作为新的“冠军”，从而形成“部署→验证→迭代”的闭环。

3.1 Champion（冠军模型）

冠军模型是当前生产环境中表现最优、被正式启用的风控模型。它承担着实时决策任务，所有线上流量默认由其评分。

• 状态：生产环境唯一生效模型
• 流量：100% 线上流量（或 100% 主决策流量）
• 更新频率：通常月度或季度更新
• 评估指标：KS、AUC、精确率、召回率、坏账率

3.2 Challenger（挑战者模型）

挑战者模型是待验证的新模型或策略变体。它不直接参与生产决策，而是通过分流或离线回放的方式与冠军模型进行对比。

• 状态：试验阶段，未上线
• 流量：通常 5%–20% 的随机流量（或离线全量回放）
• 更新频率：可随时迭代，无固定周期
• 评估指标：与冠军模型完全一致，外加统计显著性检验

3.3 Champion vs Challenger 核心差异

3.4 A/B 测试在风控中的应用

A/B 测试是 Champion Challenger 试验的核心执行手段。在反欺诈场景中，A/B 测试并非简单的“两个版本比点击率”，而是需要兼顾风险、收益与用户体验的复杂对比实验。

3.4.1 风控 A/B 测试的独特挑战

• 长周期反馈：欺诈行为往往在 30–90 天后才暴露，需要足够长的观察窗口
• 低基率问题：欺诈样本占比通常低于 1%，需要大流量或特殊采样
• 网络效应：同一欺诈团伙可能同时攻击 A/B 两组，造成组间污染
• 业务连续性：风控决策直接影响收入与用户体验，不能简单“失败就回滚”

3.4.2 风控 A/B 测试的标准流程

1. 流量分层：按用户 ID 或设备 ID 进行哈希分桶，保证同一用户始终进入同一组
2. 并行运行：Champion 与 Challenger 同时接收流量，互不干扰
3. 数据收集：记录决策结果、用户行为、逾期/欺诈标签
4. 效果评估：对比 KS、AUC、坏账率、通过率等核心指标
5. 显著性检验：使用 t 检验或卡方检验确认差异是否统计显著
6. 决策与切换：若 Challenger 显著优于 Champion，则晋升为新 Champion

* 表示 p<0.05，差异统计显著。通过率下降未达显著，说明 Challenger 在降低风险的同时未过度收紧授信。

3.5 Champion Challenger 试验流程（SVG 图）

下图展示了从冠军模型到挑战者试验、评估、晋升的完整闭环流程。

3.6 流量分层与 A/B 测试架构（SVG 图）

以下架构图展示了 Champion 与 Challenger 在线上系统中的流量分配与数据回流路径。

3.7 晋升与回滚机制

Challenger 试验结束后，根据评估结果执行晋升或回滚操作：

• 晋升条件：Challenger 在核心指标（KS、AUC、坏账率）上显著优于 Champion，且通过率下降在可接受范围内（通常 <5%）。
• 灰度晋升：新 Champion 先切 10% 流量观察 1–2 周，确认无异常后再全量切换。
• 回滚条件：晋升后若出现坏账率飙升、通过率骤降或系统异常，立即切回旧 Champion。
• 回滚时间窗：建议保留至少 7 天的回滚窗口，期间旧模型保持热备。