4. 统计功效分析：功效函数、样本量对功效的影响、如何计算最小样本量

统计功效（Statistical Power）是A/B测试中衡量“当真实差异存在时，我们能够正确拒绝零假设”的概率。功效分析帮助我们在实验设计阶段回答一个关键问题：需要多少样本才能可靠地检测出预期效果？

4.1 功效函数与核心参数

统计功效函数描述了功效与四个核心参数之间的关系：

4.2 样本量对功效的影响

样本量是实验者最可控的因素。下图展示了不同样本量下功效的变化趋势：

• 小样本（n < 100）：功效通常低于 0.50，即使存在中等效应量也难以检测。
• 中等样本（n = 200~500）：功效提升至 0.60~0.80，适合检测中等效应量。
• 大样本（n > 1000）：功效接近 1.0，但需注意“统计显著但实际无意义”的风险。

4.3 如何计算最小样本量

最小样本量计算是A/B测试实验设计的第一步。以下是基于双样本均值检验（Z检验）的计算方法：

4.3.1 公式法

n = 2 * ( (z1-α/2 + z1-β)² * σ² ) / δ²

其中：
- z1-α/2：显著性水平对应的临界值（α=0.05 时 ≈ 1.96）
- z1-β：功效对应的临界值（β=0.20 时 ≈ 0.84）
- σ²：总体方差（可通过历史数据估计）
- δ：最小可检测效应量（MDE）

4.3.2 常用参数对照表

4.3.3 Python 计算示例

import math
from scipy import stats

def min_sample_size(alpha=0.05, power=0.80, effect_size=0.5, std=1.0):
    """
    计算双样本均值检验的最小样本量（每组）
    
    参数:
        alpha: 显著性水平，默认0.05
        power: 目标统计功效，默认0.80
        effect_size: 最小可检测效应量（MDE），默认0.5
        std: 总体标准差，默认1.0
    
    返回:
        每组所需的最小样本量（向上取整）
    """
    z_alpha = stats.norm.ppf(1 - alpha / 2)
    z_beta = stats.norm.ppf(power)
    
    n = 2 * ((z_alpha + z_beta) ** 2) * (std ** 2) / (effect_size ** 2)
    return math.ceil(n)

# 示例：检测0.3的效应量，α=0.05，功效=0.80
n_required = min_sample_size(effect_size=0.3)
print(f"所需最小样本量（每组）: {n_required}")
# 输出: 所需最小样本量（每组）: 176

4.3.4 计算步骤总结

1. 设定参数：确定 α（通常 0.05）、目标功效（通常 0.80）、最小可检测效应量（MDE）。
2. 估计变异性：使用历史数据或小规模预实验估计 σ。
3. 代入公式：使用上述公式或 Python 函数计算 n。
4. 调整与验证：考虑多重比较校正、分组不平衡等因素，适当放大样本量（通常 +10%~20%）。
5. 检查可行性：确认计算出的样本量在实验周期内是否可收集。

4.4 实际应用建议