4. 分流比例设计：等比例分流 vs 非等比例分流、最小样本量估算、统计功效分析

分流比例设计是A/B测试的基石，直接影响实验的灵敏度、持续时间和资源消耗。本章将深入剖析等比例与非等比例分流的适用场景，并系统讲解最小样本量估算与统计功效分析的核心方法。

4.1 等比例分流 vs 非等比例分流

分流比例决定了实验组与对照组的样本分配方式。两种主流策略各有优劣，选择取决于实验目标、风险容忍度和业务约束。

4.2 最小样本量估算

最小样本量是确保实验能够检测到预期效应量的最低用户数。估算公式基于假设检验原理，核心输入参数包括：

• 效应量 (Effect Size, δ)：预期的最小可检测差异（如转化率提升 0.5%）
• 显著性水平 (α)：通常设为 0.05（I 类错误概率）
• 统计功效 (1-β)：通常设为 0.80（II 类错误概率）
• 基线转化率 (p₀)：对照组当前指标值

对于二项分布指标（如转化率），单组最小样本量估算公式为：

n = ( (Z_α/2 + Z_β)² × (p₀(1-p₀) + p₁(1-p₁)) ) / (p₁ - p₀)²

其中：
Z_α/2 = 1.96 (α=0.05 双尾)
Z_β   = 0.84 (功效=0.80)
p₀    = 对照组基线转化率
p₁    = 实验组预期转化率 (p₀ + δ)

4.3 统计功效分析

统计功效是实验正确拒绝原假设（即检测到真实差异）的概率。功效分析帮助回答：“如果模型确实有效，我们有多大把握能发现它？”

功效受四个因素影响：

1. 样本量 (n)：样本越大，功效越高
2. 效应量 (δ)：效应越大，越容易被检测
3. 显著性水平 (α)：α 越宽松（如 0.10），功效越高，但假阳性风险增加
4. 数据变异性 (σ)：方差越小，功效越高

4.4 分流比例与样本量、功效的关系

下图展示了不同分流比例下，为达到 80% 功效所需的总样本量变化趋势：

4.5 分流比例选择决策流程

以下决策树帮助团队根据实验条件选择最优分流比例：

4.6 实战案例：样本量与功效计算

假设某推荐模型预期将点击率从 5% 提升至 5.5%（效应量 δ=0.5%），设定 α=0.05，功效=0.80：

import math

p0 = 0.05      # 基线点击率
p1 = 0.055     # 预期点击率
delta = p1 - p0
z_alpha = 1.96  # α=0.05 双尾
z_beta = 0.84   # 功效=0.80

# 单组样本量公式
n = ((z_alpha + z_beta)**2 * (p0*(1-p0) + p1*(1-p1))) / (delta**2)
n = math.ceil(n)
print(f"等比例分流 (50/50): 每组需 {n} 样本，总样本 {2*n}")
# 输出: 等比例分流 (50/50): 每组需 15682 样本，总样本 31364

# 非等比例分流 (10/90) 调整
n_control = math.ceil(n * (0.9 / 0.1))  # 对照组放大
n_treatment = n
print(f"非等比例分流 (10/90): 实验组 {n_treatment}，对照组 {n_control}，总样本 {n_treatment + n_control}")
# 输出: 非等比例分流 (10/90): 实验组 15682，对照组 141138，总样本 156820

4.7 常见误区与最佳实践