3. A/B测试原理：假设检验、第一类错误、第二类错误、统计功效与样本量计算

在风控策略调优中，A/B测试并非简单的“分组看效果”，其底层逻辑建立在严谨的统计推断之上。理解假设检验、两类错误、统计功效与样本量计算，是确保测试结论可靠、避免“虚假提升”或“漏掉好策略”的核心前提。

3.1 假设检验：从“猜想”到“验证”的桥梁

假设检验是A/B测试的统计骨架。其核心思想是：先假设策略变更没有效果（即原假设 H₀），然后通过实验数据判断是否有足够证据推翻这个假设，从而接受备择假设 H₁（策略有效）。

检验过程通常遵循以下步骤：

1. 设定原假设与备择假设（H₀ 与 H₁）。
2. 选择检验统计量（如 Z 统计量、t 统计量），并确定其分布。
3. 设定显著性水平 α（通常为 0.05 或 0.01）。
4. 计算 p 值：在 H₀ 为真的前提下，观察到当前样本结果（或更极端结果）的概率。
5. 做出决策：若 p 值 < α，则拒绝 H₀，认为策略效果在统计上显著。

3.2 第一类错误与第二类错误：风控决策的“误伤”与“漏网”

在假设检验中，我们无法做到 100% 正确，必然存在两类错误风险。理解这两类错误，是风控策略调优中平衡“风险”与“收益”的关键。

3.3 统计功效：发现真实效果的“探测力”

统计功效（Power = 1 - β）衡量的是：当策略确实有效时，我们的A/B测试能够正确检测出这种效果的概率。功效越高，越不容易“漏掉”好策略。

影响统计功效的四大因素：

• 效果量（Effect Size）： 策略带来的真实差异大小。效果量越大，越容易被检测到，功效越高。
• 显著性水平 α： α 越小（要求越严格），临界值越远，功效越低。
• 样本量： 样本量越大，抽样误差越小，功效越高。
• 数据波动性（方差）： 指标方差越小，功效越高。风控中逾期率等比率型指标方差通常较小。

3.4 样本量计算：测试前必须完成的“预算”

样本量计算是A/B测试规划阶段的核心工作。样本量过小，测试结果不可靠；样本量过大，浪费流量和时间，甚至可能因测试周期过长导致环境变化（如节假日效应）污染结果。

对于风控中常见的比率类指标（如逾期率、通过率、坏账率），样本量计算公式如下：

n = ( (Z_α/2 + Z_β)² × (p₁×(1-p₁) + p₂×(1-p₂)) ) / (p₂ - p₁)²

其中：
n        = 每组所需样本量
Z_α/2    = 显著性水平 α 对应的 Z 值（双尾检验，α=0.05 时 Z=1.96）
Z_β      = 第二类错误 β 对应的 Z 值（β=0.2 时 Z=0.84）
p₁       = 对照组预期转化率/逾期率
p₂       = 实验组预期转化率/逾期率（基于最小可检测效果量）

3.5 实战中的权衡与常见陷阱