实验设计基础：假设检验、零假设与备择假设、显著性水平、统计功效
在 Champion Challenger 实验中，我们通过假设检验来量化判断：观察到的效果差异是真实存在的，还是仅仅由随机波动引起。本节将系统介绍假设检验的核心概念，为后续实验设计打下坚实的统计基础。
1. 假设检验的基本逻辑
假设检验是一种统计推断方法，其核心思想是：先假设一个默认状态（无差异），然后计算在当前数据下观察到这种极端结果的概率，如果概率足够小，就拒绝默认假设。这个过程类似于法庭审判中的“无罪推定”——除非证据确凿，否则不能认定有罪。
核心思想：假设检验不是证明“有差异”，而是通过反证法，证明“无差异”的假设极不可能成立。
2. 零假设与备择假设
每个假设检验都包含两个互斥的假设：
| 假设类型 | 符号 | 含义 | Champion Challenger 示例 |
|---|---|---|---|
| 零假设 | H₀ | 无差异、无效果、现状成立 | 新模型（Challenger）的转化率 ≤ 当前模型（Champion）的转化率 |
| 备择假设 | H₁ 或 Hₐ | 存在差异、有效果、有变化 | 新模型（Challenger）的转化率 > 当前模型（Champion）的转化率 |
在实验设计中，我们通常将希望证明的结论放在备择假设中。例如，如果我们希望证明 Challenger 优于 Champion，则：
- H₀：μ_challenger ≤ μ_champion
- H₁：μ_challenger > μ_champion
根据备择假设的方向，检验分为：
- 单侧检验：只关心一个方向（如“优于”或“劣于”）
- 双侧检验：关心是否存在任何差异（优于或劣于都算）
实践建议：在 Champion Challenger 实验中，如果业务目标明确是“提升指标”，优先使用单侧检验，因为统计功效更高，所需样本量更小。
3. 显著性水平（α）
显著性水平 α 是拒绝零假设时允许犯错误的最大概率，即“假阳性”风险。它由实验设计者预先设定，常见取值为 0.05、0.01 或 0.10。
| α 值 | 含义 | 适用场景 |
|---|---|---|
| 0.10 | 有 10% 的概率错误拒绝 H₀ | 探索性实验、低风险决策 |
| 0.05 | 有 5% 的概率错误拒绝 H₀ | 大多数 A/B 测试、常规业务决策 |
| 0.01 | 有 1% 的概率错误拒绝 H₀ | 高风险决策、医疗、金融 |
当 p 值 ≤ α 时，我们拒绝零假设，认为结果具有统计显著性。p 值越小，证据越充分。
常见误区：p 值不是“H₀ 为真的概率”，也不是“效果大小”。p 值是在 H₀ 为真的前提下，观察到当前或更极端结果的概率。不要将 p 值与效应量混淆。
4. 统计功效（Power）
统计功效是当备择假设为真时，正确拒绝零假设的概率，即 1 - β，其中 β 是“假阴性”概率（第二类错误）。
| 决策结果 | H₀ 为真 | H₁ 为真 |
|---|---|---|
| 不拒绝 H₀ | 正确（1 - α） | 第二类错误（β） |
| 拒绝 H₀ | 第一类错误（α） | 正确（1 - β = Power） |
统计功效受四个因素影响：
- 效应量（Effect Size）：Challenger 与 Champion 的真实差异越大，功效越高
- 样本量（n）：样本量越大，功效越高
- 显著性水平（α）：α 越大（更宽松），功效越高
- 变异程度（σ）：数据波动越小，功效越高
实验设计黄金法则：在实验开始前，先确定最小可检测效应量（MDE），然后计算所需样本量，确保统计功效 ≥ 80%。
5. 假设检验决策流程
下图展示了从设定假设到得出结论的完整流程：
6. 第一类错误与第二类错误的权衡
在实验设计中，α 和 β 之间存在权衡关系：
- 降低 α（如从 0.05 降到 0.01）→ 减少假阳性 → 但 β 增大，功效降低 → 需要更大样本量
- 提高功效（如从 80% 提高到 95%）→ 减少假阴性 → 但需要更大样本量或接受更大的 α
在 Champion Challenger 实验中，两类错误的代价不同：
| 错误类型 | 实际后果 | 业务影响 |
|---|---|---|
| 第一类错误（α） | 将无效的 Challenger 误判为有效 | 上线劣质模型，造成业务损失 |
| 第二类错误（β） | 将有效的 Challenger 误判为无效 | 错失优化机会，竞争对手可能抢先 |
平衡策略：对于大多数线上实验，建议 α = 0.05，功效 ≥ 0.80。如果实验成本高（如全量上线风险大），可降低 α 至 0.01；如果错失机会成本高，可提高功效至 0.90 以上。
7. 样本量计算与功效分析
在实验开始前，必须进行功效分析以确定所需样本量。以下是常用公式（以两样本均值检验为例）：
n = 2 * (Z_α/2 + Z_β)² * σ² / δ²
其中：
- n = 每组所需样本量
- Z_α/2 = 对应显著性水平的 Z 值（α=0.05 时，Z=1.96）
- Z_β = 对应功效的 Z 值（功效=0.80 时，Z=0.84）
- σ² = 总体方差
- δ = 最小可检测效应量（MDE）对于比例检验（如转化率），公式略有不同：
n = (Z_α/2 + Z_β)² * [p₁(1-p₁) + p₂(1-p₂)] / (p₂ - p₁)²
其中：
- p₁ = Champion 的基准转化率
- p₂ = Challenger 的预期转化率实用工具：在实际工作中，建议使用 Python 的 statsmodels.stats.power 模块或 R 的 pwr 包进行功效分析。手动计算仅用于理解原理。
8. 常见假设检验方法选择
根据数据类型和实验设计，选择合适的检验方法：
| 数据类型 | 检验方法 | 适用场景 |
|---|---|---|
| 连续型（如收入、时长） | t 检验（两样本） | 比较两组均值差异 |
| 二分类（如转化、点击） | Z 检验（比例检验） | 比较两组转化率差异 |
| 计数型（如订单数） | 卡方检验 | 比较分类变量分布 |
| 非正态分布 | Mann-Whitney U 检验 | 不满足正态假设时 |
重要提醒：不要在所有场景下都使用 t 检验。对于转化率等比例指标，使用 Z 检验或卡方检验；对于严重偏态分布，考虑非参数检验或 Bootstrap 方法。
9. 统计显著性与实际显著性
统计显著 ≠ 实际重要。一个结果可能 p 值很小，但效应量微乎其微，对业务毫无价值。
在 Champion Challenger 实验中，始终关注：
- 效应量：Challenger 比 Champion 提升了多少？
- 置信区间：真实效果的可能范围是什么？
- 业务意义：这个提升值得全量上线吗？
下图展示了统计显著性与实际显著性的关系：
10. 本章要点总结
| 概念 | 一句话记忆 |
|---|---|
| 零假设 H₀ | 默认无差异，需要被推翻 |
| 备择假设 H₁ | 我们希望证明的结论 |
| 显著性水平 α | 允许犯假阳性错误的概率（通常 0.05） |
| 统计功效 1-β | 正确发现真实差异的概率（通常 ≥ 0.80） |
| p 值 | H₀ 为真时观察到当前结果的概率 |
| 效应量 | 实际差异的大小，比 p 值更重要 |