3、A/B测试基础概念

A/B测试是信用评分模型迭代中最核心的验证手段。在金融风控场景中，任何模型或策略的上线都必须经过严格的A/B测试，以量化新模型（实验组）相对于旧模型（对照组）在风险控制效果上的真实差异。本节将系统讲解A/B测试的五大基础概念：定义、假设检验、显著性水平、统计功效与最小样本量计算。

3.1 A/B测试的定义

A/B测试，又称拆分测试或对照实验，是一种通过随机分配用户到两个或多个组别，比较不同版本（如模型、策略、规则）在关键指标上表现差异的统计方法。在信用评分模型中，典型的A/B测试结构如下：

• 对照组（Control Group）： 沿用当前生产环境中的旧评分模型或风控策略。
• 实验组（Treatment Group）： 应用新开发的评分模型或调整后的风控策略。
• 核心指标： 坏账率、通过率、逾期率、KS值、AUC等。

3.2 假设检验：原假设与备择假设

假设检验是A/B测试的统计决策框架。在信用评分模型测试中，我们通过构建一对互斥的假设来判定新模型是否显著优于旧模型。

在风控A/B测试中，常见的假设形式包括：

• 双尾检验： H₀: μ₁ = μ₂ vs H₁: μ₁ ≠ μ₂（新模型效果可能更好或更差）
• 单尾检验（左尾）： H₀: μ₁ ≥ μ₂ vs H₁: μ₁ < μ₂（新模型坏账率更低）
• 单尾检验（右尾）： H₀: μ₁ ≤ μ₂ vs H₁: μ₁ > μ₂（新模型通过率更高）

3.3 显著性水平（α）

显著性水平 α 是拒绝原假设时犯第一类错误（假阳性）的概率阈值。在信用评分模型测试中，α 通常设定为 0.05 或 0.01。

在A/B测试中，当 p 值 < α 时，我们拒绝原假设，认为新模型的效果在统计上显著。但需注意：统计显著 ≠ 业务显著。一个 p 值很小的结果可能在实际业务中只带来微小的提升。

3.4 统计功效（Power）

统计功效是当备择假设为真时，正确拒绝原假设的概率，即 1 - β，其中 β 是第二类错误（假阴性）的概率。在信用评分模型测试中，统计功效反映了测试能够检测到真实效果的能力。

3.5 最小样本量计算

最小样本量是确保A/B测试具有足够统计功效所需的最少用户数。样本量不足会导致测试结果不可靠，样本量过大则浪费计算资源和时间。在信用评分模型测试中，最小样本量受以下四个因素影响：

1. 显著性水平 α： 通常取 0.05
2. 统计功效 1-β： 通常取 0.80
3. 最小可检测效应量（MDE）： 业务上认为有意义的最小差异
4. 基线转化率/坏账率： 对照组的当前指标值

对于比例型指标（如坏账率），最小样本量计算公式为：

n = ( (Z_α/2 + Z_β)² × (p₁(1-p₁) + p₂(1-p₂)) ) / (p₂ - p₁)²

其中：
  n      = 每组所需样本量
  Z_α/2  = 对应显著性水平 α 的 Z 值（α=0.05 时取 1.96）
  Z_β    = 对应统计功效的 Z 值（功效=0.80 时取 0.84）
  p₁     = 对照组的预期坏账率
  p₂     = 实验组的预期坏账率
  (p₂ - p₁) = 最小可检测效应量（MDE）

以下为不同场景下的最小样本量参考表（α=0.05, 功效=0.80）：

3.6 概念总结

本节五个核心概念构成了信用评分模型A/B测试的统计基础。在实际项目中，建议按以下顺序进行参数设定：

1. 确定业务上可接受的最小效应量（MDE）
2. 设定显著性水平 α（通常 0.05）
3. 设定统计功效 1-β（通常 0.80）
4. 计算最小样本量并预留余量
5. 执行A/B测试并计算 p 值
6. 结合统计显著性与业务显著性做出决策