2. A/B测试基础概念：假设检验、零假设与备择假设、显著性水平、统计功效、效应量

A/B测试本质上是一种受控实验，其决策依据是假设检验。理解假设检验的核心概念，是正确解读A/B测试结果、避免“假阳性”和“假阴性”错误的前提。本节将系统梳理假设检验的五大基础支柱。

2.1 假设检验的核心逻辑

假设检验是一种利用样本数据对总体参数或分布做出统计推断的方法。其基本逻辑是：先对总体提出一个假设（零假设），然后通过样本数据计算检验统计量，评估在零假设成立的前提下，观察到当前样本结果（或更极端结果）的概率。如果这个概率非常小，我们就拒绝零假设，转而接受备择假设。

2.2 零假设与备择假设

假设检验包含两个互斥的假设：

• 零假设 (H₀, Null Hypothesis)： 通常代表“无差异”或“无效果”的默认立场。在A/B测试中，H₀ 通常表述为“实验组与对照组的关键指标无显著差异”。
• 备择假设 (H₁ 或 Hₐ, Alternative Hypothesis)： 与零假设相对，代表研究者希望证明的结论。在A/B测试中，H₁ 通常表述为“实验组与对照组的关键指标存在显著差异”。

2.2.1 单侧检验 vs 双侧检验

2.3 显著性水平 (α)

显著性水平 (Significance Level, α) 是事先设定的一个阈值，代表我们愿意承担的“假阳性”风险——即零假设实际为真，但我们错误地拒绝了它的概率。

• 常用值： α = 0.05（行业标准），α = 0.01（更严格），α = 0.10（较宽松）。
• 解释： 当 α = 0.05 时，意味着如果零假设为真，我们仍有5%的概率错误地得出“有显著差异”的结论。
• 与p值的关系： 如果 p ≤ α，则拒绝 H₀；如果 p > α，则不拒绝 H₀。

2.4 统计功效 (Statistical Power)

统计功效 (Power) 是当备择假设为真时，检验能够正确拒绝零假设的概率。它衡量了实验发现真实效应的能力。

• 公式： Power = 1 - β，其中 β 是第二类错误（假阴性）的概率。
• 行业标准： 通常要求 Power ≥ 0.80，即实验有80%的把握检测到真实存在的效应。
• 影响因素：
  • 样本量 (n)： 样本量越大，功效越高。
  • 效应量 (Effect Size)： 真实差异越大，功效越高。
  • 显著性水平 (α)： α 越大（如从0.01放宽到0.05），功效越高。
  • 数据变异性： 方差越小，功效越高。

2.5 效应量 (Effect Size)

效应量 (Effect Size) 衡量的是实验组与对照组之间差异的实际大小，而不依赖于样本量。p值告诉你差异是否“统计显著”，效应量告诉你差异是否“实际显著”。

2.5.1 常见效应量指标

2.5.2 Cohen's d 效应量参考标准

2.6 五大概念关系总结

下表总结了五个核心概念在A/B测试中的角色和相互关系：