3. A/B测试核心概念：假设检验、第一类与第二类错误、统计功效、最小样本量计算

在信用评分模型的A/B测试中，我们并非简单比较两组通过率或坏账率的数值大小，而是需要通过严格的统计推断来判断差异是否真实存在。本章将系统讲解支撑A/B测试决策的五个核心统计概念，帮助你在实际项目中做出科学、可复现的结论。

3.1 假设检验：从“猜想”到“验证”

假设检验是A/B测试的决策框架。我们将业务问题转化为两个互斥的统计假设：

• 原假设（H₀）：新模型（实验组）与旧模型（对照组）的核心指标无差异。例如：“新模型与旧模型的坏账率相同”。
• 备择假设（H₁）：新模型与旧模型存在显著差异。例如：“新模型的坏账率低于旧模型”。

测试过程就是收集样本数据，计算检验统计量，然后判断是否有足够证据拒绝H₀。如果p值小于预设的显著性水平α，则拒绝H₀，认为差异具有统计学意义。

3.2 第一类错误与第二类错误

在假设检验中，我们可能犯两种错误，理解它们的区别对信用评分模型评估至关重要：

3.3 统计功效：测试的“探测能力”

统计功效（Statistical Power）定义为 1 - β，即当备择假设为真时，检验能够正确拒绝原假设的概率。在信用评分A/B测试中，高功效意味着：如果新模型确实优于旧模型，我们有很高的概率能检测到这个差异。

影响统计功效的四个关键因素：

1. 效应量（Effect Size）：新模型与旧模型之间的真实差异大小。差异越大，功效越高。
2. 样本量（Sample Size）：每组包含的样本数量。样本量越大，功效越高。
3. 显著性水平（α）：α 越大（例如从0.01放宽到0.05），功效越高。
4. 数据变异性（Variance）：指标的标准差越小，功效越高。

3.4 最小样本量计算：科学规划测试规模

在启动A/B测试之前，必须计算所需的最小样本量。样本量过小会导致功效不足，样本量过大则浪费资源。最小样本量取决于以下参数：

对于二分类指标（如坏账率），最小样本量计算公式为：

n = (Z_(1-α/2) + Z_(1-β))² × [p₀(1-p₀) + p₁(1-p₁)] / (p₁ - p₀)²

其中：
  Z_(1-α/2) = 1.96（对应 α=0.05，双尾检验）
  Z_(1-β)   = 0.84（对应 功效=0.80）
  p₀        = 对照组基准率
  p₁        = 实验组预期率（p₀ - δ）
  n         = 每组所需样本量

3.5 核心概念总结