4. 样本量计算与功效分析：如何确定最小样本量、功效函数、效应量计算、Python实现

在A/B测试中，样本量不足会导致检验功效过低，无法检测出真实存在的差异；样本量过大则浪费流量与时间。本章系统讲解样本量计算的理论基础、功效函数、效应量概念，并给出可直接复用的Python实现。

4.1 核心概念速览

4.2 样本量计算公式推导

对于两独立样本均值检验（双尾），最小样本量公式为：

n = 2 * ((Z_α/2 + Z_β) / d)²

其中：
  Z_α/2 = 标准正态分布在 α/2 处的临界值（α=0.05 时 ≈ 1.96）
  Z_β   = 标准正态分布在 β 处的临界值（功效=0.80 时 β=0.20，Z_β ≈ 0.84）
  d     = Cohen's d = (μ₁ - μ₂) / σ_pooled

对于比例检验（如转化率），使用基于正态近似的公式：

n = ( (Z_α/2 + Z_β)² * (p₁(1-p₁) + p₂(1-p₂)) ) / (p₁ - p₂)²

其中：
  p₁ = 对照组预期转化率
  p₂ = 实验组预期转化率

4.3 功效函数与效应量计算

功效函数描述了在给定样本量和效应量下，检验能够正确拒绝原假设的概率。功效随样本量增加而增加，随效应量减小而减小。

效应量计算（Cohen's d）：

d = (mean_A - mean_B) / pooled_std

pooled_std = sqrt( ((n_A-1)*var_A + (n_B-1)*var_B) / (n_A + n_B - 2) )

4.4 Python实现：样本量计算与功效分析

以下代码使用 statsmodels 和 scipy 实现完整的样本量计算与功效分析流程。

import numpy as np
from scipy import stats
import statsmodels.stats.power as smp

# ========== 1. 均值检验样本量计算 ==========
def sample_size_means(d, alpha=0.05, power=0.80, alternative='two-sided'):
    """
    计算两独立样本均值检验所需的最小样本量（每组）
    
    参数:
        d: Cohen's d 效应量
        alpha: 显著性水平
        power: 检验功效
        alternative: 'two-sided' 或 'one-sided'
    
    返回:
        n: 每组所需样本量
    """
    power_analysis = smp.TTestIndPower()
    n = power_analysis.solve_power(
        effect_size=d,
        alpha=alpha,
        power=power,
        alternative=alternative
    )
    return int(np.ceil(n))

# 示例：检测中等效应量 d=0.5
n_means = sample_size_means(d=0.5)
print(f"均值检验所需样本量（每组）: {n_means}")

# ========== 2. 比例检验样本量计算 ==========
def sample_size_proportions(p1, p2, alpha=0.05, power=0.80):
    """
    计算两样本比例检验所需的最小样本量（每组）
    
    参数:
        p1: 对照组比例
        p2: 实验组比例
        alpha: 显著性水平
        power: 检验功效
    
    返回:
        n: 每组所需样本量
    """
    z_alpha = stats.norm.ppf(1 - alpha/2)
    z_beta = stats.norm.ppf(power)
    
    p_bar = (p1 + p2) / 2
    numerator = (z_alpha * np.sqrt(2 * p_bar * (1 - p_bar)) + 
                 z_beta * np.sqrt(p1*(1-p1) + p2*(1-p2)))**2
    denominator = (p1 - p2)**2
    
    n = numerator / denominator
    return int(np.ceil(n))

# 示例：转化率从 10% 提升到 12%
n_prop = sample_size_proportions(p1=0.10, p2=0.12)
print(f"比例检验所需样本量（每组）: {n_prop}")

# ========== 3. 功效曲线绘制 ==========
def power_curve(effect_sizes, n_range, alpha=0.05):
    """
    生成不同效应量下的功效曲线数据
    
    参数:
        effect_sizes: 效应量列表
        n_range: 样本量范围
        alpha: 显著性水平
    
    返回:
        dict: 每个效应量对应的功效值列表
    """
    power_analysis = smp.TTestIndPower()
    results = {}
    for d in effect_sizes:
        powers = [power_analysis.solve_power(
            effect_size=d, nobs1=n, alpha=alpha, ratio=1.0
        ) for n in n_range]
        results[f"d={d}"] = powers
    return results

# 生成数据
n_values = np.arange(20, 500, 10)
effect_sizes = [0.2, 0.5, 0.8]
power_data = power_curve(effect_sizes, n_values)

# 输出部分结果供检查
for d in effect_sizes:
    idx = np.where(n_values == 100)[0][0]
    print(f"d={d}, n=100 时功效: {power_data[f'd={d}'][idx]:.3f}")

4.5 样本量、效应量与功效的关系

4.6 实际案例：电商转化率A/B测试样本量规划

场景：某电商平台计划测试新版结算页面，预期转化率从当前的 8% 提升到 9%。设定 α=0.05（双尾），功效=0.80。

# 电商转化率测试样本量计算
p_control = 0.08   # 对照组转化率
p_treatment = 0.09 # 实验组预期转化率

n_ecommerce = sample_size_proportions(p1=p_control, p2=p_treatment)
print(f"电商A/B测试所需样本量（每组）: {n_ecommerce}")

# 考虑10%的样本损耗
n_adjusted = int(np.ceil(n_ecommerce / 0.9))
print(f"考虑10%损耗后的样本量（每组）: {n_adjusted}")

# 计算可检测的最小效应量（给定样本量）
def min_detectable_effect(n, alpha=0.05, power=0.80):
    """给定样本量，计算可检测的最小效应量"""
    power_analysis = smp.TTestIndPower()
    d = power_analysis.solve_power(
        nobs1=n, alpha=alpha, power=power, ratio=1.0
    )
    return d

# 假设只能获取每组5000个样本
n_available = 5000
mde = min_detectable_effect(n_available)
print(f"n={n_available} 时可检测的最小效应量: {mde:.3f}")

# 转化为可检测的转化率差异
# 假设 pooled_std ≈ sqrt(p*(1-p)) ≈ sqrt(0.085*0.915) ≈ 0.279
pooled_std = np.sqrt(0.085 * 0.915)
detectable_diff = mde * pooled_std
print(f"可检测的最小转化率绝对差异: {detectable_diff:.4f} ({detectable_diff*100:.2f}%)")

4.7 样本量计算决策流程

4.8 常见问题与避坑指南