2. 实验设计基础：假设检验、原假设与备择假设、第一类错误与第二类错误、统计功效的概念

在 A/B 分流方案设计中，实验设计的核心是假设检验。它为我们提供了一套严谨的统计框架，用以判断观察到的实验组与对照组之间的差异是否真实存在，还是仅仅由随机波动引起。理解假设检验的四大基石——原假设与备择假设、第一类错误、第二类错误以及统计功效——是设计可靠实验的前提。

2.1 假设检验的基本逻辑

假设检验遵循“反证法”思想：我们先假设一个“无差异”的基准状态（原假设），然后通过样本数据计算在该基准状态下观察到当前结果（或更极端结果）的概率。如果这个概率极低（低于预设的显著性水平），我们就拒绝原假设，转而接受“存在差异”的备择假设。

2.2 原假设与备择假设

假设检验的第一步是明确两个互斥的假设：

• 原假设（H₀，Null Hypothesis）： 通常代表“无效果”、“无差异”或“现状”。在 A/B 测试中，H₀ 通常表述为“实验组与对照组的核心指标（如转化率、点击率）没有显著差异”。
• 备择假设（H₁ 或 Hₐ，Alternative Hypothesis）： 与原假设相对立，代表“有效果”、“有差异”或“存在变化”。它是我们希望通过实验数据来支持的结论。

2.3 第一类错误与第二类错误

在假设检验中，由于我们基于样本推断总体，决策不可能绝对正确。错误分为两类，其关系如下表所示：

• 第一类错误（Type I Error，α）： 原假设为真时，错误地拒绝了它。这相当于“虚惊一场”，认为有效果但实际上没有。α 通常由研究者设定，常见值为 0.05 或 0.01。
• 第二类错误（Type II Error，β）： 原假设为假时，错误地接受了它。这相当于“错过真相”，认为没效果但实际上有。β 值取决于效应量、样本量和显著性水平。

2.4 统计功效

统计功效（Statistical Power） 定义为当备择假设为真时，正确拒绝原假设的概率，即 Power = 1 - β。它衡量了实验检测到真实效应的能力。

一个低功效的实验很可能错过真实存在的效果，导致“假阴性”结论。在 A/B 测试中，这意味着我们可能错误地放弃一个有效的策略。

影响统计功效的关键因素

统计功效的计算公式（简化版）

对于两样本均值比较的 z 检验，功效近似计算公式为：

Power = Φ( |μ₁ - μ₀| / (σ * √(2/n))  -  z₁₋α/₂ )

其中：
- Φ 为标准正态分布的累积分布函数
- |μ₁ - μ₀| 为效应量（绝对值）
- σ 为总体标准差
- n 为每组样本量
- z₁₋α/₂ 为对应显著性水平的临界值