第一类错误与第二类错误：α与β的关系、错误成本、权衡策略

在A/B测试中，当我们基于p值做出“显著”或“不显著”的判断时，实际上是在两个风险之间做取舍。这些风险分别对应第一类错误（假阳性）和第二类错误（假阴性）。理解它们的定义、成本以及如何通过α和β来平衡，是设计可靠实验的核心。

第一类错误 vs 第二类错误 框架图 真实情况：无差异（H₀真） 真实情况：有差异（H₁真） 决策：拒绝H₀（宣布显著） 决策：不拒绝H₀（不显著） 第一类错误 α 第二类错误 β 正确阴性 正确阳性（检验功效） 平衡α与β的核心：错误成本 + 样本量 降低α → β上升（需要更大样本维持功效） 降低β → α上升（需要更宽松的显著性阈值）

1. 核心概念：两类错误

在假设检验框架中，我们有一个原假设H₀（通常表示“无效果”）和一个备择假设H₁（表示“有真实效果”）。决策结果与真实状态有四种组合，其中两种是错误：

真实状态 / 决策接受H₀（不拒绝）拒绝H₀（宣布显著）
H₀为真（无差异）正确否定第一类错误（假阳性）
概率 = α
H₁为真（有差异）第二类错误（假阴性）
概率 = β		正确肯定（统计功效 = 1 − β）
关键记忆点：
α 是“过度自信”的错误 —— 冤枉了无辜（H₀ 被误拒）。
β 是“错过真相”的错误 —— 放了真凶（H₁ 被误接受）。

2. α与β的数学关系

α 和 β 并不是独立的。在固定样本量下，降低 α 会导致 β 增大；反之亦然。这源于检验统计量的分布重叠区域：

  • α：当 H₀ 真时，统计量落入拒绝域的概率（通常取 0.05，0.01）。
  • β：当 H₁ 真时，统计量落入接受域的概率（通常目标 0.2 或 0.1，对应功效 80% 或 90%）。
  • 功效 (power) = 1 − β：当真实效果存在时，正确拒绝 H₀ 的概率。

影响 β 的因素除了 α，还包括效应量（效果大小）、样本量和数据方差。效应量越大、样本量越大、方差越小，β 就越小。

3. 错误成本分析

不同实验场景下两类错误的代价截然不同：

场景第一类错误（误宣布显著）成本第二类错误（漏掉真实效果）成本
UI 颜色测试（低风险）投入少量资源上线无效方案错过一次小幅提升机会
医疗用药有效性验证患者接受无效甚至有害治疗（极高风险）有效药物未获批，延误病情（也高风险）
电商推荐算法改动短期转化下降，可回滚长期收入潜在损失
经验法则：在A/B测试中，若改造成本低且回滚容易，可容忍稍高的 α（如 0.10）；若涉及重大产品变更或用户安全，应严格限制 α（如 0.01）并保证足够功效（≥0.90）。

4. 权衡策略：如何设定α与β

标准做法是先固定α，再通过样本量计算控制β。常用的权衡路径：

  1. 确定可接受的α：绝大多数A/B测试默认 α = 0.05（如果错误成本不对称可调整）。
  2. 确定最小感兴趣的效应量（MDE）：业务上认为有意义的提升幅度（例如转化率提高 1%）。
  3. 设定目标功效：通常为 0.80 或 0.90，即 β = 0.20 或 0.10。
  4. 计算所需样本量：使用功效分析工具（如 Python 的 statsmodels 或在线计算器）。
  5. 若样本量不足：要么放宽 α 或 β，要么接受更大的 MDE，要么延长实验时间。
# Python 示例：使用 statsmodels 计算样本量（双样本比例检验）
from statsmodels.stats.power import TTestIndPower

effect_size = 0.02      # 比例差异（例如 10% vs 8%）
alpha = 0.05
power = 0.80
analysis = TTestIndPower()
n = analysis.solve_power(effect_size=effect_size, power=power, 
                         alpha=alpha, ratio=1, alternative='two-sided')
print(f"每组所需样本量: {n:.0f}")

5. 常见误区

  • 误区一：α越小越好 —— 过度降低 α 会导致 β 飙升，实验可能永远发现不了真实效果。选择 α 应结合错误成本。
  • 误区二：β不重要，只关注显著性 —— 忽略 β 意味着实验可能功效不足，导致“假阴性”误判（本来有效却认为无效）。
  • 误区三：p > 0.05 就证明两组无差异 —— p 值不拒绝 H₀ 并不等于被接受，有可能是样本量太小或效应量太小。
  • 误区四：两组差异显著就绝对有效 —— 显著性只告诉你有差异，但不代表差异有实际业务意义。还要看效应量和置信区间。

6. 练习题

  1. 某实验 α = 0.05，β = 0.20，效应量 d = 0.3。如果研究者将 α 改为 0.01，其他条件不变，β 会如何变化？
  2. 假设你的产品改动成本极高，一旦错误上线会导致巨大损失。你应该选择更严格的 α 还是更宽松的 α？对功效的要求是提高还是降低？
  3. 一个 A/B 测试跑了 2 周，p = 0.04，你宣布显著。但事后发现样本量计算时要求每组 5000 人，实际每组只有 1000 人。这个结论可信吗？为什么？
关于应用边界：α 与 β 的权衡基于频次统计学框架。在贝叶斯方法中，通过后验概率直接量化错误成本，但 α/β 的概念仍可作为先验设定的参考。此外，多重比较（同时测试多个指标）需要校正 α（如 Bonferroni 或 FDR 控制），否则整体第一类错误率会膨胀。

7. 小结

第一类错误和第二类错误是 A/B 测试中无法消除的一对矛盾。通过理解 α 与 β 的关系、评估两类错误的实际成本、在实验设计阶段进行样本量计算和功效分析，你可以在不确定性中做出更理性的决策。记住：没有“绝对正确”的 α，只有“适合业务场景”的权衡。

← 上一章 📖 返回目录 下一章 →