3. 假设检验原理：原假设与备择假设、第一类错误与第二类错误、显著性水平α与检验功效1-β

假设检验是A/B测试的统计学核心。它通过一套严谨的决策框架，帮助我们在有限样本数据下，判断观察到的差异是真实存在的，还是仅仅由随机波动造成的。理解其原理是避免“假阳性”和“假阴性”结论的基础。

3.1 原假设与备择假设

在A/B测试中，我们首先需要明确两个互斥的假设：

• 原假设（H₀，Null Hypothesis）：通常代表“无效果”或“无差异”的保守立场。在A/B测试中，H₀ 通常表述为“实验组与对照组的核心指标（如转化率、点击率）没有显著差异”。
• 备择假设（H₁ 或 Hₐ，Alternative Hypothesis）：与原假设相对立，代表我们希望通过实验证明的结论。它通常表述为“实验组与对照组的核心指标存在显著差异”。

根据备择假设的方向，假设检验分为三种类型：

3.2 第一类错误与第二类错误

由于我们基于样本推断总体，决策过程不可避免地会犯错。主要存在两类错误：

• 第一类错误（Type I Error）：“假阳性”。即原假设 H₀ 实际上为真（新版本无效），但我们错误地拒绝了它，认为新版本有效。在A/B测试中，这意味着我们上线了一个实际上没有提升效果的改动，浪费了开发资源。
• 第二类错误（Type II Error）：“假阴性”。即原假设 H₀ 实际上为假（新版本有效），但我们未能拒绝它，错误地认为新版本无效。在A/B测试中，这意味着我们错过了一个真正能提升业务指标的好版本。

下表总结了两种错误的决策矩阵：

3.3 显著性水平 α 与检验功效 1-β

为了量化控制这两类错误的风险，我们引入了两个关键指标：

3.3.1 显著性水平 α

显著性水平 α 是我们愿意承担的第一类错误（假阳性）的最大概率。它是在实验开始前设定的阈值，通常取 0.05 或 0.01。

• 含义：如果原假设 H₀ 为真，我们错误地拒绝它的概率不超过 α。
• 常见取值：α = 0.05 意味着我们愿意接受“在20次实验中，最多有1次会错误地宣称有效”的风险。
• 与P值的关系：当计算出的 P 值 < α 时，我们拒绝原假设，认为结果具有统计学显著性。

3.3.2 检验功效 1-β

检验功效 (Power) 是当备择假设 H₁ 为真时，我们能够正确拒绝原假设的概率，即 1 - β。它衡量了实验“发现真实效果”的能力。

• 含义：如果新版本确实有效，我们的实验有多大把握能检测出来。
• 行业标准：通常要求检验功效达到 0.80 或 0.90。这意味着如果真实效果存在，我们有 80% 或 90% 的概率在统计上发现它。
• 影响因素：样本量、效应量（Effect Size，即预期提升幅度）、显著性水平 α 和数据的变异性。

3.4 总结：A/B测试中的实践要点

1. 预先设定 α：在实验开始前，根据业务对“假阳性”的容忍度，确定显著性水平（通常为 0.05）。
2. 计算所需样本量：基于预期的效应量、设定的 α 和目标检验功效（如 0.80），计算所需的最小样本量，确保实验有足够的“探测能力”。
3. 理解错误代价：在业务决策中，权衡第一类错误（上线无效功能）和第二类错误（错过有效功能）的代价。对于高风险改动（如全量上线），可能需要更小的 α；对于探索性实验，可以接受稍高的 α。
4. 报告功效：在呈现不显著的结果时，应报告检验功效，以区分“确实无效果”和“样本量不足导致无法检测到效果”。