📚 课程目录第2章 Champion对照实验概念

2. Champion对照实验概念

2.1 什么是Champion（冠军）策略

Champion策略是当前生产环境中正在运行、经过验证且表现稳定的风控决策逻辑。它代表了当前业务场景下的“最优已知解”，是衡量任何新策略效果的基准线。

  Champion策略的核心特征：
  生产在线：正在实时处理业务流量，承担实际风控决策
历史可追溯：拥有足够长的运行周期，积累了可统计的样本数据
指标基线化：通过率、逾期率、误杀率等核心指标已形成稳定基线
风险可控：经过多轮调优和压力测试，不会出现突发性风险敞口

在风控规则引擎中，Champion策略通常表现为一组完整的规则集（Rule Set）或决策树（Decision Tree），包含准入规则、反欺诈规则、信用评分卡等模块的组合。

2.2 什么是Challenger（挑战者）策略

Challenger策略是待验证的新策略变体，它基于对Champion策略的改进假设而设计，旨在提升某个特定维度的业务表现（如提高通过率、降低逾期率、减少误杀等）。

对比维度	Champion策略	Challenger策略
运行状态	生产环境在线	实验环境/分流运行
数据积累	充足的历史样本	需要实验期间积累
风险等级	低（已验证）	中高（待验证）
变更幅度	基准线	局部调整或全新设计
回退机制	无需回退	需预设回退方案

实践建议：Challenger策略的变更幅度应遵循“单一变量原则”。一次实验只改变一个核心变量（如某条规则的阈值、某个模型的版本），否则当实验结果出现差异时，无法定位是哪个改动导致的。

2.3 Champion vs Challenger 对照实验流程

对照实验的核心思想是将实时流量随机分流，一部分由Champion策略处理，另一部分由Challenger策略处理，然后对比两组样本的业务指标差异。

2.4 对照实验的统计学基础

Champion对照实验不是简单的“看数字大小”，而是需要借助统计学方法判断两组指标的差异是否具有统计显著性，避免将随机波动误判为策略效果。

2.4.1 核心统计概念

概念	定义	在对照实验中的应用
原假设 H₀	Champion与Challenger的指标无差异	默认接受H₀，除非有充分证据拒绝
备择假设 H₁	Challenger指标显著优于/劣于Champion	希望证明H₁成立，推动策略升级
显著性水平 α	犯第一类错误（误拒H₀）的概率	通常取0.05或0.01，控制误判风险
P值	在H₀成立下观察到当前结果的概率	P < α 时拒绝H₀，认为差异显著
统计功效 1-β	当H₁为真时正确拒绝H₀的概率	通常要求 ≥ 0.8，保证实验能检测出真实差异

2.4.2 常用统计检验方法

根据指标类型和样本分布，选择不同的检验方法：

Z检验：适用于大样本（n > 30）下的通过率、逾期率等比例指标
t检验：适用于小样本或需要比较均值（如平均审批时长）的场景
卡方检验：适用于分类变量（如通过/拒绝的分布差异）
Mann-Whitney U检验：非参数检验，适用于不满足正态分布的数据

样本量估算公式（比例指标）：

n = (Z_α/2 + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)] / (p₁ - p₂)²

其中：
  Z_α/2 = 对应显著性水平α的双侧临界值（α=0.05时取1.96）
  Z_β   = 对应统计功效1-β的临界值（β=0.2时取0.84）
  p₁    = Champion策略的预期通过率
  p₂    = Challenger策略的预期通过率

2.4.3 最小样本量与实验周期

实验需要积累足够的样本量才能得出可靠结论。样本量不足会导致统计功效低，无法检测出真实差异；样本量过大则可能将微小但无业务意义的差异判定为显著。

预期提升幅度	Champion基线通过率	所需最小样本量（每组）	建议实验天数（日均1000笔）
1%	50%	约 16,000	32 天
2%	50%	约 4,000	8 天
5%	50%	约 650	2 天
1%	80%	约 25,000	50 天

常见误区：不要仅凭“Challenger的通过率比Champion高了0.5%”就判定胜利。必须计算P值或置信区间，确认差异是否在统计上显著。同时，统计显著不等于业务显著——如果提升幅度过小，即使P值很小，也不值得承担切换风险。

2.5 对照实验的决策框架

实验结束后，根据统计检验结果和业务评估，做出以下决策之一：

关键原则：对照实验的最终目的是“用数据驱动决策”，而不是“证明新策略更好”。即使Challenger没有胜出，实验过程中积累的样本数据、特征分布变化、拒绝原因分析等，都是优化下一版Challenger策略的宝贵输入。