4、测试核心术语：冠军策略、挑战者策略、对照组、实验组、样本量、显著性水平、置信区间、提升度等

信贷策略的冠军挑战者测试（Champion-Challenger Test）本质上是一场受控的、基于证据的决策实验。要正确设计、执行并解读这类测试，必须首先精确掌握其核心术语。这些术语不仅是沟通的语言，更是衡量测试科学性、可靠性与业务价值的标尺。本章将逐一拆解这些关键概念，并阐明它们之间的逻辑关系，帮助你在实际工作中建立一套严谨的测试话语体系。

4.1 冠军策略与挑战者策略：测试的基准与变量

核心原理：冠军策略（Champion）是当前生产环境中正在运行、表现稳定且经过验证的信贷策略，它是比较的基准线。挑战者策略（Challenger）则是基于新假设、新数据或新算法构建的候选策略，旨在超越冠军策略的某个或多个业务指标（如坏账率、通过率、收益率）。测试的本质就是严谨地比较两者。

判断方法：在实际操作中，冠军策略并非一成不变。它需要定期复盘，当业务环境（如客群结构变化、宏观经济波动）或模型性能发生显著偏移时，冠军的资格需要被重新审视。挑战者策略的构建通常源于对现有策略瓶颈的分析，例如：冠军策略在某个细分客群上通过率过低，或对某些风险特征识别不足。

4.2 对照组与实验组：随机化的科学基石

核心原理：对照组（Control Group）和实验组（Treatment Group）是测试执行层面的两个平行样本集合。对照组严格应用冠军策略，实验组应用挑战者策略。两组唯一的区别就是策略本身，这是确保测试结果可归因的前提。随机化分配是构建两组的关键，它旨在消除选择偏差，使两组在年龄、收入、风险评分等所有可观测和不可观测特征上达到统计均衡。

操作流程：

1. 确定分流比例：常见比例为 90% 对照组 / 10% 实验组，或 80% / 20%。比例取决于对业务风险的容忍度和对测试功效的要求。
2. 生成随机数：为每个进入测试的客户ID生成一个均匀分布的随机数。
3. 分组映射：根据随机数阈值（如随机数 ≤ 0.1 则进入实验组）将客户划入对应组别。
4. 策略执行：两组分别调用冠军策略和挑战者策略的决策引擎。

4.3 样本量与显著性水平：统计功效的保障

核心原理：样本量（Sample Size）是指每组所需的最少客户数量，它直接决定了测试能否检测出预设大小的真实差异。显著性水平（Significance Level, α）是犯“第一类错误”（即实际上挑战者没有更好，但测试结论认为它更好）的概率，行业标准通常设定为 0.05。两者共同决定了测试的统计功效（Power，通常要求 ≥ 0.8），即当挑战者确实优于冠军时，测试能正确发现该差异的概率。

判断方法：样本量的计算依赖于四个参数：预期的最小可检测提升度（Effect Size）、显著性水平 α、统计功效 1-β、以及指标的历史波动率（如坏账率的方差）。可以使用统计软件或公式计算。一个粗略的经验法则是：对于坏账率这类低频指标，样本量通常需要数万甚至数十万。

# 示例：使用Python计算两组比例检验所需样本量
from statsmodels.stats.power import NormalIndPower
from statsmodels.stats.proportion import proportion_effectsize

# 假设冠军策略坏账率为2%，期望检测到挑战者坏账率降至1.5%
effect_size = proportion_effectsize(0.02, 0.015)
analysis = NormalIndPower()
sample_size = analysis.solve_power(effect_size=effect_size, alpha=0.05, power=0.8, ratio=1.0)
print(f"每组所需样本量: {sample_size:.0f}")

4.4 置信区间与提升度：解读结果的价值

核心原理：置信区间（Confidence Interval, CI）给出了对某个指标（如坏账率差异）估计值的波动范围。95% 置信区间的含义是：如果重复实验100次，有95次计算出的区间会包含真实的差异值。提升度（Lift）则是衡量挑战者策略相对冠军策略的业务增量，通常以百分比表示，例如坏账率降低 10% 或通过率提升 5 个百分点。

案例拆解：某消费金融公司测试新的额度策略。冠军策略的平均额度为 8,000 元，挑战者策略为 10,000 元。测试结束后，两组各包含 50,000 个样本。

• 结果指标：实验组（挑战者）的坏账率为 2.8%，对照组（冠军）的坏账率为 2.5%。
• 提升度计算：坏账率相对提升 = (2.8% - 2.5%) / 2.5% = 12%（即风险恶化12%）。
• 置信区间：坏账率差异的 95% 置信区间为 [0.1%, 0.5%]。该区间不包含 0，说明差异在统计上显著。
• 业务决策：尽管额度提升带来了更高的利息收入，但坏账率的显著上升导致风险成本增加。结合收入与成本测算，最终决定放弃该挑战者策略，维持冠军策略。

4.5 术语联动与测试复盘

总结复盘：这七个术语构成了一个完整的决策链条。冠军与挑战者定义了“比什么”，对照组与实验组定义了“怎么比”，样本量与显著性水平定义了“比多久、比多少才可信”，置信区间与提升度定义了“结果怎么解读、价值有多大”。在实际测试中，任何一环的缺失或错误都会导致结论的偏差。