样本量计算与统计功效

A/B 测试的结论是否可信，很大程度上取决于样本量是否充足。样本量过小，统计功效不足，真实差异无法被检测；样本量过大，资源浪费且容易捕获无业务意义的微小波动。本章围绕最小样本量公式、功效函数与实践工具，构建从参数设定到决策落地的完整看板体系。

1. 指标定义

样本量计算涉及四个核心指标，它们共同决定了实验的“探测能力”。

2. 数据口径

各参数的取值标准与数据来源需统一，以保证看板输出的可比性。

3. 维度拆解

不同指标类型和业务场景，样本量计算方式及敏感度差异明显。

• 均值类指标（如人均时长、客单价）：需要输入标准差 σ，公式为 n = (Z_α/2 + Z_β)² · 2σ² / δ²。
• 比率类指标（如点击率、转化率）：基于基线率 p₁ 和预期率 p₂，公式为 n = (Z_α/2 + Z_β)² · (p₁(1−p₁) + p₂(1−p₂)) / (p₂−p₁)²。
• 效应量维度：小效应量（0.2）需极大样本；中等效应量（0.5）为常见设计目标；大效应量（0.8）所需样本较小但业务改进难度高。
• 分层与聚类：若使用分层随机或整群抽样，需引入设计效应（DEFF）调整样本量。

4. 看板结构

样本量计算看板分为“参数输入—计算引擎—结果输出—决策建议”四个区域，形成闭环决策流。

5. 异常解释

看板中常见的三类异常信号及其根因分析。

• 信号一：“样本量不足，功效 < 0.60”
  原因：效应量设定过小或 α 太严格。业务动作：增大效应量目标（如从 3% 提升到 5%），或放宽 α 到 0.10。
• 信号二：“所需样本量超过流量池 2 倍”
  原因：当前指标波动大（σ 过高）或目标功效过高。业务动作：使用 CUPED 等方法降低方差，或接受更长的测试周期。
• 信号三：“效应量置信区间跨越零”
  原因：历史数据太少，效应量估计不准。业务动作：引入先验数据或运行小型预实验校准效应量。

6. 业务动作

基于看板输出，将样本量计算转化为可执行的测试计划。

1. 设定检验标准：在看板输入区固定 α = 0.05，1−β = 0.80。
2. 输入效应量预期：从业务目标反推最小可检测提升（如转化率提升 0.5%）。
3. 读取最小样本量：看板输出 n = 32,500（每组）。
4. 评估流量可行性：日均可用流量 10,000 用户，则单组需 3.25 天，取整 4 天，总周期 8 天。
5. 执行参数校验：使用 Python 脚本交叉验证看板结果。

以下为使用 statsmodels 进行样本量计算的校验脚本：

import statsmodels.stats.power as smp

# 均值类指标：两组独立样本
power = smp.tt_ind_solve_power(
    effect_size=0.2,       # 效应量 d
    alpha=0.05,             # 显著性水平
    power=0.80,             # 统计功效
    ratio=1.0,              # 实验组/对照组比例
    alternative='two-sided'
)
print(f"每组所需样本量: {round(power)}")

# 比率类指标：使用 proportions_ztest 近似
from statsmodels.stats.proportion import proportion_effectsize
from statsmodels.stats.power import zt_ind_solve_power

es = proportion_effectsize(prop1=0.10, prop2=0.12)  # 基线10%，目标12%
n = zt_ind_solve_power(effect_size=es, alpha=0.05, power=0.80, ratio=1.0)
print(f"每组所需样本量: {round(n)}")

7. 复盘分析

案例：提升会员订阅转化率

某内容平台计划改版订阅页，预期将转化率从 8.0% 提升至 8.8%（效应量 d = 0.28）。

实际运行 12 天后，实验组转化率 8.9%，对照组 8.0%，Δ=0.9pp，p=0.032，功效复核为 0.83。看板复盘区显示“样本量充足，结论可信”，决策顺利推动全量上线。