3. 实验设计基础：假设检验、显著性水平、统计功效、最小样本量计算
在 Champion Challenger 分流实验中，严谨的实验设计是获得可信结论的基石。本章将系统讲解假设检验、显著性水平、统计功效与最小样本量计算四大核心概念，帮助你在实际业务中设计出科学、高效的分流实验。
3.1 假设检验：实验的决策框架
假设检验是统计学中用于判断样本数据是否支持某个关于总体参数的声明的标准流程。在 A/B 测试中，我们通常需要建立两个对立的假设：
- 零假设（H₀）：Champion 与 Challenger 之间没有显著差异（如转化率相等）。
- 备择假设（H₁）：Challenger 与 Champion 存在显著差异（如转化率更高或更低）。
实验的目标是通过收集数据，计算检验统计量及其对应的 p 值，来决定是否拒绝零假设。
关键理解： 假设检验不是证明 H₀ 为真，而是评估当前数据是否提供了足够证据来拒绝 H₀。拒绝 H₀ 意味着我们接受 H₁，即 Challenger 版本有效。
3.2 显著性水平（α）：控制“假阳性”风险
显著性水平 α 是我们在实验前设定的一个阈值，代表“当零假设实际为真时，我们错误地拒绝它”的概率（即第一类错误）。
| 常见 α 值 | 含义 | 适用场景 |
|---|---|---|
| 0.05 | 有 5% 的概率误判（假阳性） | 大多数业务实验（如转化率、点击率） |
| 0.01 | 有 1% 的概率误判 | 高风险决策（如医疗、金融核心指标） |
| 0.10 | 有 10% 的概率误判 | 探索性实验或低成本快速验证 |
实践建议： 在 Champion Challenger 实验中，通常默认 α = 0.05。如果实验涉及用户隐私或重大业务变更，建议将 α 收紧至 0.01。
3.3 统计功效（1 - β）：检测真实差异的能力
统计功效是指当备择假设 H₁ 实际为真时，我们能够正确拒绝零假设的概率。它与第二类错误 β（假阴性）互补：功效 = 1 - β。
- 高功效（≥ 0.80）：实验有 80% 以上的概率检测到真实存在的差异。
- 低功效（< 0.80）：实验容易遗漏真实效果，导致“假阴性”结论。
影响统计功效的主要因素包括：样本量、效应量（预期提升幅度）、显著性水平 α 以及数据的变异程度。
常见误区： 很多团队只关注 α 而忽略功效。低功效实验即使得到“无显著差异”的结论，也无法证明 Challenger 无效——可能只是样本量不足。
3.4 最小样本量计算：实验设计的核心步骤
最小样本量是指在给定 α、功效和预期效应量的前提下，为了获得统计显著结果而需要的最少观测数量。它是实验设计中最关键的量化环节。
3.4.1 计算公式（两样本比例检验）
n = ( (Z_α/2 + Z_β)² × (p₁(1-p₁) + p₂(1-p₂)) ) / (p₂ - p₁)²
其中：
- n = 每组所需样本量
- Z_α/2 = 对应显著性水平 α 的双侧 Z 值（α=0.05 时取 1.96）
- Z_β = 对应功效 1-β 的 Z 值（功效=0.80 时取 0.84）
- p₁ = Champion 基准转化率
- p₂ = Challenger 预期转化率3.4.2 样本量计算示例
假设当前 Champion 转化率为 10%，预期 Challenger 提升至 12%（绝对提升 2%），设定 α=0.05，功效=0.80：
p₁ = 0.10, p₂ = 0.12
Z_α/2 = 1.96, Z_β = 0.84
n = ( (1.96 + 0.84)² × (0.10×0.90 + 0.12×0.88) ) / (0.02)²
= ( 7.84 × (0.09 + 0.1056) ) / 0.0004
= ( 7.84 × 0.1956 ) / 0.0004
= 1.5335 / 0.0004
≈ 3834
结论：每组至少需要 3834 个样本，总计约 7668 个样本。3.4.3 样本量速查表
| 基准转化率 | 最小可检测提升 | 每组所需样本量 | 总样本量 |
|---|---|---|---|
| 5% | 1%（相对提升 20%） | ~7,200 | ~14,400 |
| 10% | 2%（相对提升 20%） | ~3,800 | ~7,600 |
| 20% | 3%（相对提升 15%） | ~2,900 | ~5,800 |
| 50% | 5%（相对提升 10%） | ~1,600 | ~3,200 |
实用工具： 在实际项目中，建议使用 Python 的 statsmodels 库或在线样本量计算器快速验证。手动计算主要用于理解原理。
3.5 实验设计流程总览
下图展示了从假设建立到样本量计算的完整实验设计流程：
3.6 常见错误与避坑指南
- 忽视统计功效：只关注 p 值而不检查功效，容易得出不可靠的“无差异”结论。
- 效应量预估过于乐观：实际业务中，Challenger 通常只能带来 1%-5% 的相对提升，不要假设 20% 以上的提升。
- 样本量不足时提前停止实验：在达到最小样本量之前查看结果并做出决策，会严重增加假阳性风险。
- 忽略多重比较：同时测试多个指标或多次查看结果时，需要对 α 进行 Bonferroni 校正。
核心原则： 实验设计阶段投入的时间，会在分析阶段以“结论可信度”的形式加倍回报。永远不要在样本量不足的情况下启动 Champion Challenger 实验。