4. A/B 测试的样本量计算：样本量公式、效应量、显著性水平与功效的权衡、常见样本量计算工具

A/B 测试的样本量计算是实验设计阶段最关键的量化步骤。样本量过小会导致统计功效不足，无法检测出真实存在的差异；样本量过大会浪费流量资源，延长实验周期。本节将系统讲解样本量计算的核心公式、关键参数权衡以及常用工具。

4.1 样本量计算的核心公式

对于两样本比例检验（最常用的 A/B 测试场景），样本量计算公式基于正态近似推导。每组所需样本量 n 的近似公式为：

n = ( (Z_α/2 + Z_β)² × (p₁(1-p₁) + p₂(1-p₂)) ) / (p₂ - p₁)²

其中：

• Z_α/2：显著性水平 α 对应的双侧临界值（α=0.05 时，Z≈1.96）
• Z_β：功效 1-β 对应的单侧临界值（功效=0.80 时，Z≈0.84）
• p₁：对照组预期转化率
• p₂：实验组预期转化率（p₁ + 最小可检测效应）

4.2 效应量：最小可检测效应

效应量（Effect Size）是样本量计算中最敏感、也最容易被低估的参数。在比例检验中，效应量通常定义为绝对提升：δ = p₂ - p₁。

4.3 显著性水平与功效的权衡

样本量计算涉及四个相互制约的参数，改变任何一个都会影响其他三个。理解这种权衡关系是实验设计成熟度的标志。

4.4 常见样本量计算工具

手动计算公式容易出错，业界已有多种成熟工具可供选择。以下对比主流工具的适用场景与特点：

4.5 Python 代码示例：样本量计算

以下代码使用 statsmodels 库计算比例检验所需样本量，并展示参数变化对样本量的影响：

import numpy as np
from statsmodels.stats.proportion import proportion_effectsize
from statsmodels.stats.power import zt_ind_solve_power

# 设定参数
p1 = 0.05          # 对照组基线转化率 5%
p2 = 0.055         # 实验组预期转化率 5.5%（绝对提升 0.5%）
alpha = 0.05       # 显著性水平
power = 0.80       # 统计功效

# 计算效应量（Cohen's h）
effect_size = proportion_effectsize(p1, p2)

# 计算每组所需样本量
n_per_group = zt_ind_solve_power(
    effect_size=effect_size,
    alpha=alpha,
    power=power,
    ratio=1.0,          # 实验组:对照组 = 1:1
    alternative='two-sided'
)

print(f"效应量 (Cohen's h): {effect_size:.4f}")
print(f"每组所需样本量: {int(np.ceil(n_per_group))}")
print(f"总样本量: {int(np.ceil(n_per_group * 2))}")

# 展示不同功效下的样本量变化
print("\n--- 功效 vs 样本量 ---")
for pwr in [0.70, 0.80, 0.90, 0.95]:
    n = zt_ind_solve_power(
        effect_size=effect_size,
        alpha=alpha,
        power=pwr,
        ratio=1.0,
        alternative='two-sided'
    )
    print(f"功效 {pwr:.2f} → 每组 {int(np.ceil(n))} 人")

4.6 样本量计算的常见误区

• 误区一： 用历史数据的最小可检测效应代替业务有意义效应。结果：样本量偏小，实验结论不可靠。
• 误区二： 忽略多重比较校正。同时运行多个实验或分析多个指标时，需调整 α（如 Bonferroni 校正），否则样本量不足。
• 误区三： 假设用户行为独立。同一用户多次访问会产生相关性，需使用"用户级"样本量而非"事件级"样本量。
• 误区四： 不考虑流量稀释。当实验组和对照组流量不均等时（如 80:20），总样本量需求会增加。