2. A/B测试基础：假设检验原理、第一类与第二类错误、统计功效与样本量计算

在反欺诈策略的A/B测试中，我们并非简单比较两组数据的均值大小，而是通过假设检验这一统计工具，判断观察到的差异是否真实存在，还是由随机波动引起。本节将系统讲解假设检验的核心原理、两类错误的权衡、统计功效的计算方法，以及如何确定最小样本量。

2.1 假设检验的基本原理

假设检验的核心逻辑是“反证法”：先提出一个待推翻的假设（原假设），然后根据样本数据计算在该假设成立下出现当前结果的概率（p值）。若p值足够小，则拒绝原假设，接受备择假设。

检验流程通常包含以下步骤：

1. 设定原假设与备择假设：明确要检验的效应方向（单侧或双侧）。
2. 选择显著性水平 α：通常取0.05，表示允许犯第一类错误的最大概率。
3. 收集样本数据：从实验组和对照组分别采集转化率、拦截率等指标。
4. 计算检验统计量：根据数据类型选择z检验、t检验或卡方检验。
5. 计算p值并与α比较：若p < α，拒绝H₀；否则不拒绝H₀。

2.2 第一类错误与第二类错误

在假设检验中，我们无法100%避免错误。根据真实情况与决策结果的组合，存在两种错误类型：

2.3 统计功效（Statistical Power）

统计功效 = 1 - β，表示当真实效应存在时，检验能够正确拒绝原假设的概率。功效越高，越不容易错过真实有效的策略。

影响统计功效的四个关键因素：

• 效应量（Effect Size）：实验组与对照组的真实差异大小。差异越大，功效越高。
• 样本量（Sample Size）：样本越多，功效越高。
• 显著性水平 α：α 越大（如从0.01放宽到0.05），功效越高，但第一类错误风险增加。
• 数据变异（Variance）：数据波动越小，功效越高。

2.4 样本量计算

样本量计算是A/B测试设计的关键步骤。样本量不足会导致统计功效过低，样本量过大则浪费流量和时间。常用的样本量计算公式（基于两独立样本比例z检验）如下：

n = (Z_α/2 + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)] / (p₂ - p₁)²

其中：
  n      = 每组所需样本量
  Z_α/2 = 显著性水平对应的z值（α=0.05时取1.96）
  Z_β   = 功效对应的z值（功效=0.80时取0.84）
  p₁    = 对照组预期转化率/拦截率
  p₂    = 实验组预期转化率/拦截率（p₂ - p₁ 为最小可检测效应量）

2.5 样本量计算实用参数表

以下表格列出了不同效应量和功效要求下的最小样本量（每组），供反欺诈A/B测试设计时快速参考：

2.6 常见误区与避坑指南

• 误区一：p值越小，效应越大 —— p值只表示统计显著性，不反映实际效果大小。需同时报告效应量（如Cohen's d或绝对提升率）。
• 误区二：未达到显著性就认为策略无效 —— 可能因样本量不足导致功效过低，应检查功效是否达标。
• 误区三：多次检验不校正 —— 若同时比较多个指标或多个版本，需使用Bonferroni校正或FDR控制，否则第一类错误膨胀。
• 误区四：忽略实际显著性 —— 即使p值显著，若提升幅度仅为0.1%，在业务上可能不值得上线。