3. 假设检验基础：原假设与备择假设、第一类错误与第二类错误、显著性水平与统计功效

在 Champion Challenger 实验中，我们通过假设检验来量化判断：新模型（Challenger）的效果是否显著优于当前线上模型（Champion）。假设检验是统计推断的核心工具，它帮助我们基于样本数据做出关于总体的决策，并量化决策的风险。

3.1 原假设与备择假设

假设检验的第一步是建立一对互斥的假设：

  • 原假设（Null Hypothesis, H₀）：通常代表“无差异”或“现状”。在实验场景中，H₀ 表示 Challenger 与 Champion 的效果相同，或 Challenger 没有优于 Champion。
  • 备择假设（Alternative Hypothesis, H₁ 或 Hₐ）：代表研究者希望证明的结论，即 Challenger 与 Champion 存在显著差异，或 Challenger 优于 Champion。
实验场景示例：
假设 Champion 模型的点击率（CTR）为 5.0%，Challenger 模型预期 CTR 为 5.3%。
H₀：Challenger CTR ≤ Champion CTR（无提升）
H₁：Challenger CTR > Champion CTR（有提升）
这是一个单侧检验，因为我们只关心 Challenger 是否更好。

根据备择假设的方向，检验分为：

  • 双侧检验：H₁: μ₁ ≠ μ₂，只关心是否有差异，不关心方向。
  • 单侧检验：H₁: μ₁ > μ₂ 或 H₁: μ₁ < μ₂，关心差异的具体方向。
选择建议：在 Champion Challenger 实验中，如果业务目标明确是“提升指标”，优先使用单侧检验，因为其统计功效更高，所需样本量更小。但必须事先确定方向，不能根据数据结果事后选择。

3.2 第一类错误与第二类错误

当我们基于样本做出决策时，可能犯两类错误：

决策结果 H₀ 为真（Challenger 无提升） H₀ 为假（Challenger 有提升）
接受 H₀（认为无提升） ✅ 正确决策（1 - α） ❌ 第二类错误（β）
错过真实效果
拒绝 H₀（认为有提升） ❌ 第一类错误（α）
虚假报警		 ✅ 正确决策（1 - β）
统计功效
  • 第一类错误（Type I Error, α）：原假设为真时错误地拒绝它。在实验中意味着“Challenger 实际无效，但我们错误地认为它有效”。
  • 第二类错误（Type II Error, β）：原假设为假时错误地接受它。在实验中意味着“Challenger 实际有效，但我们未能检测出来”。
业务权衡：在线上实验中，第一类错误（α）意味着将无效模型上线，造成资源浪费和潜在收益损失；第二类错误（β）意味着错过一个真正有效的模型，导致机会成本。通常我们更严格控制 α，但 β 同样重要。
假设检验决策矩阵与两类错误 H₀ 为真（无提升） H₀ 为假（有提升） 接受 H₀ 拒绝 H₀ ✅ 正确决策 概率 = 1 - α ❌ 第二类错误 概率 = β ❌ 第一类错误 概率 = α ✅ 统计功效 概率 = 1 - β 关键理解： • α（显著性水平）：我们愿意承受的“虚假报警”风险，通常设为 0.05 或 0.01。 • β：我们未能检测出真实效果的“漏报”风险，通常控制在 0.1 或 0.2 以内。 • 统计功效（1 - β）：实验能够检测出真实效果的概率，通常要求 ≥ 0.8。

3.3 显著性水平与统计功效

3.3.1 显著性水平（α）

显著性水平是研究者预先设定的、允许犯第一类错误的最大概率。它定义了“小概率事件”的阈值：

  • 常用值：α = 0.05（5%）、0.01（1%）、0.10（10%）
  • 含义：如果 p 值 < α，则拒绝 H₀，认为结果在统计上显著
  • 业务影响：α 越小，拒绝 H₀ 的门槛越高，越不容易发现虚假效果，但同时也更难发现真实效果（需要更大样本）
Champion Challenger 实践：在探索性实验中，α 可放宽至 0.10 以发现更多潜在机会；在关键决策（如全量上线）中，α 应严格设为 0.01 以降低风险。

3.3.2 统计功效（Statistical Power, 1 - β）

统计功效是当 H₀ 为假时，正确拒绝 H₀ 的概率。它衡量实验“发现真实效果”的能力：

影响因素 与功效的关系 说明
样本量（n） ↑ 增大 → 功效 ↑ 样本越多，估计越精确，越容易检测出小效应
效应量（Effect Size） ↑ 增大 → 功效 ↑ Challenger 提升幅度越大，越容易被检测到
显著性水平（α） ↑ 增大 → 功效 ↑ 放宽 α 会提高功效，但增加第一类错误风险
数据变异（σ²） ↑ 增大 → 功效 ↓ 数据噪声越大，越难检测出信号
功效分析公式（简化版）：
n = (Z₁₋α + Z₁₋β)² × 2σ² / δ²
其中 δ 为最小可检测效应量（Minimum Detectable Effect, MDE），σ² 为总体方差，Z 为标准正态分布分位数。这是实验设计阶段计算所需样本量的核心公式。
显著性水平（α）与统计功效（1 - β）的分布关系 H₀ 分布 （无提升） H₁ 分布 （有提升） 临界值 α （第一类错误） β （第二类错误） 1 - β （统计功效） 分布关系解读： • 两个分布的重叠区域决定了错误概率的大小。重叠越大，α 和 β 越大，功效越低。 • 增大样本量或效应量可使两个分布分离更远，从而降低重叠，提高功效。

3.4 实验设计中的权衡与决策

在 Champion Challenger 实验设计中，α、β、效应量和样本量之间存在四角权衡：

  1. 设定 α：根据业务风险承受能力确定显著性水平（通常 0.05）
  2. 设定功效目标：通常要求 1 - β ≥ 0.80，即 80% 的概率检测出真实效果
  3. 确定最小可检测效应量（MDE）：业务上认为有意义的提升幅度，例如 CTR 提升 0.3%
  4. 计算所需样本量：基于上述参数，使用功效分析公式计算每组所需样本量
  5. 评估可行性：如果所需样本量超出流量预算，需调整 MDE 或接受更低的功效
常见陷阱：许多实验设计者只关注 α 而忽视 β。如果实验功效不足（例如只有 30%），即使 Challenger 确实有效，也有 70% 的概率无法检测出来，导致“假阴性”决策——错过一个真正优秀的模型。

3.5 本章小结

概念 符号 定义 实验中的含义
原假设 H₀ 无差异的假设 Challenger 不比 Champion 好
备择假设 H₁ 存在差异的假设 Challenger 优于 Champion
第一类错误 α 错误拒绝 H₀ 将无效模型误认为有效
第二类错误 β 错误接受 H₀ 错过真正有效的模型
显著性水平 α 允许的第一类错误上限 通常设为 0.05
统计功效 1 - β 正确拒绝 H₀ 的概率 通常要求 ≥ 0.80
← 上一章 📖 返回目录 下一章 →