2. 假设检验的基本框架:原假设与备择假设、两种错误类型、显著性水平

2.1 概念解释:为什么需要假设检验

假设检验是统计学中用于判断样本数据是否提供足够证据来支持某个关于总体的论断。在 A/B 测试中,我们通过假设检验来回答一个核心问题:观察到的两组差异是真实存在的效应,还是仅仅由随机波动造成的?

整个框架围绕三个核心概念构建:原假设与备择假设、两种错误类型、显著性水平。它们共同构成了决策的逻辑基础。

2.2 原假设与备择假设

假设检验的第一步是建立一对互斥的假设:

  • 原假设(H₀):通常代表“无效果”或“无差异”的保守立场。在 A/B 测试中,H₀ 表示两组之间没有真实差异。
  • 备择假设(H₁ 或 Hₐ):代表“有效果”或“有差异”的探索立场。它是对原假设的否定,也是研究者希望找到证据支持的结论。
维度原假设 H₀备择假设 H₁
角色默认立场(“无罪推定”)替代主张(“有罪指控”)
A/B 测试表述A 组 = B 组(无差异)A 组 ≠ B 组(有差异)
证据负担受保护,需要强证据才能推翻需数据支持才能被接受
检验方向始终为“等于”可为“不等于”“大于”或“小于”
记忆锚点:H₀ 中的“0”代表“零效应”(zero effect);H₁ 中的“1”代表“有效应”(effect exists)。在判断时,我们总是试图寻找证据来拒绝 H₀,而非直接证明 H₁ 为真。

2.3 两种错误类型(Type I & Type II Error)

无论我们做出什么决策,都有可能犯错。假设检验中的错误分为两类:

  • Type I Error(第一类错误 / 假阳性):H₀ 实际为真,但错误地拒绝 H₀。相当于“冤枉好人”。
  • Type II Error(第二类错误 / 假阴性):H₀ 实际为假,但错误地未能拒绝 H₀。相当于“放走坏人”。
对比维度Type I