3. A/B测试基础：A/B测试的统计学原理、假设检验、置信区间与p值

A/B测试是模型验证与分流体系中最重要的因果推断工具。其核心逻辑是：通过随机分流，将用户或流量分为实验组（B组）与对照组（A组），在仅改变单一变量的前提下，比较两组在核心指标上的差异是否由随机波动引起。本节将系统讲解支撑A/B测试的统计学基础。

3.1 统计学原理：从抽样到推断

A/B测试的本质是统计推断——用样本数据推断总体差异。由于我们无法观测到同一用户在“接受干预”和“未接受干预”两种状态下的结果，必须通过随机化分组来构造一个近似反事实的对照组。

3.2 假设检验：判断差异是否显著

假设检验为A/B测试提供了一个形式化的决策框架。我们首先提出两个互斥的假设，然后根据样本数据决定是否拒绝其中一个。

• 原假设 H₀：实验组与对照组指标无差异（μ_B − μ_A = 0）。
• 备择假设 H₁：实验组与对照组指标存在差异（μ_B − μ_A ≠ 0，双尾；或 μ_B − μ_A > 0，单尾）。

检验过程分为四步：

1. 设定显著性水平 α：通常取 0.05，表示愿意承担 5% 的“假阳性”风险（即原假设为真时错误拒绝它）。
2. 计算检验统计量：根据指标类型选择 t 检验、z 检验或卡方检验。
3. 计算 p 值：在原假设为真的前提下，观察到当前样本结果（或更极端结果）的概率。
4. 做出决策：若 p < α，拒绝 H₀，认为差异具有统计学显著性；否则无法拒绝 H₀。

3.3 p值：误解与正确解读

p值是A/B测试中最容易被误读的统计量。以下表格澄清了常见误解：

3.4 置信区间：效果大小的不确定性度量

与 p 值的二元决策不同，置信区间提供了差异大小的估计范围，包含更多信息。一个 (1−α)×100% 的置信区间表示：在重复抽样中，有 (1−α) 的比例会包含真实的总体差异。

对于两样本均值差，置信区间计算公式为：

CI = (x̄_B − x̄_A) ± z_{α/2} × SE

其中：
  x̄_B − x̄_A = 样本均值差
  z_{α/2}    = 标准正态分布的双尾临界值（α=0.05 时取 1.96）
  SE         = 均值差的标准误 = √(s²_A/n_A + s²_B/n_B)

置信区间与假设检验的关系：

• 若 95% 置信区间不包含 0，则 p < 0.05，差异显著。
• 若 95% 置信区间包含 0，则 p > 0.05，差异不显著。
• 置信区间的宽度反映了估计的精度——宽度越窄，结果越可靠。

3.5 假设检验与置信区间的关系图

下图展示了假设检验与置信区间在A/B测试决策中的统一逻辑：

3.6 常见统计检验方法选择

不同的指标类型和实验设计对应不同的检验方法。下表总结了A/B测试中最常用的检验：

3.7 样本量计算与统计功效

在启动A/B测试前，必须预先计算所需的最小样本量。样本量不足会导致检验功效（Power）过低，即真实存在的差异无法被检测出来。

统计功效 = 1 − β，其中 β 是假阴性率（Type II Error）。通常要求功效 ≥ 0.80。

样本量估算公式（两比例检验）：

n = ( (z_{α/2} + z_β)² × (p₁(1−p₁) + p₂(1−p₂)) ) / (p₂ − p₁)²

其中：
  p₁ = 对照组预期转化率
  p₂ = 实验组预期转化率（含最小可检测效应）
  z_{α/2} = 双尾临界值（α=0.05 时取 1.96）
  z_β     = 单尾临界值（β=0.20 时取 0.84）

3.8 多重比较与校正

当A/B测试同时评估多个指标（如点击率、转化率、留存率）或多个变体时，多重比较问题会膨胀整体假阳性率。假设同时检验 k 个独立假设，至少出现一个假阳性的概率为 1 − (1−α)ᵏ。

常用校正方法：

3.9 常见陷阱与最佳实践总结

• 提前停止：不要在达到预定样本量前反复查看 p 值并提前停止。使用序贯检验（如 Sequential Probability Ratio Test）可解决此问题。
• 多重比较：预先指定主要指标，对次要指标使用 FDR 校正。
• 样本量不足：实验前进行功效分析，确保有足够样本检测到最小业务效应。
• 忽略置信区间：仅报告 p 值而不报告置信区间，会丢失效果大小的信息。
• 混淆统计显著性与实际显著性：p < 0.05 不代表效果有业务价值，需结合效应量（如 Cohen's d）判断。