第1章 样本量估算的适用场景
A/B 测试中，样本量估算不是一个可选的数学练习，而是实验设计的前置判断。错误的样本量会导致两类严重后果：样本过少 → 无法检测到真实效应（统计功效不足）；样本过多 → 浪费流量与时间成本，甚至因过度敏感而检出无业务意义的微小差异。本章明确五个必须进行样本量估算的典型场景，并给出相应的 SOP 要素。
1.1 五类适用场景
| 场景 | 核心问题 | 典型触发条件 |
|---|---|---|
| ① A/B测试前确定最小样本量 | “我需要多少用户才能看到预期效果？” | 实验设计阶段，已定义最小效应量（MDE） |
| ② 统计显著性检验 | “观测到的差异是真实的还是随机波动？” | 实验结束后，p 值接近临界阈值（如 0.05） |
| ③ 功效分析（Power Analysis） | “当前样本量能保证多大概率发现真实效应？” | 回顾性评估，或调整实验时长/流量分配 |
| ④ 资源预算规划 | “需要分配多少流量、多少天才能完成实验？” | 季度/月度实验排期时的流量容量评估 |
| ⑤ 实验设计评审 | “这份实验方案在统计上是否合理？” | 评审会中要求提供样本量计算依据 |
关键认知：场景②与③常被混淆。显著性检验回答“是否显著”，功效分析回答“未显著时，有多大把握”。样本量估算将两者统一：事前确定所需样本量，事后校验是否达标。
1.2 前置条件
在启动样本量估算前，必须明确以下参数（任一缺失均无法计算）：
- 基准转化率（或基线指标）—— 来自历史数据或对照组预期值
- 最小可检测效应量（MDE）—— 业务认为值得优化的最小绝对提升
- 显著性水平 α —— 通常取 0.05，可根据多重比较校正
- 统计功效 1-β —— 通常取 0.80 或 0.90
- 假设检验类型 —— 单侧 / 双侧
建议：在实验设计文档中预先录入这些前置参数，避免临时拍脑袋。
1.3 操作步骤
- 确定场景编号：根据上表选择当前最匹配的场景（①~⑤）。
- 收集前置参数：从业务方、产品经理、历史数据中提取基准率、MDE、α、β。
- 选择计算工具/公式：
—— 二值指标：使用t检验（比例）公式或power.prop.test()
—— 连续指标：使用t检验（均值）公式或pwr.t.test() - 执行计算：代入参数，得出所需样本量（每组）。
- 应用调整因子：
- 多重比较：Bonferroni 校正 → 降低 α/n
- 流量不均匀分配：按分流比例加权
- 预期流失率：除以 (1-流失率)
- 记录与输出：将计算过程、参数、结果写入实验设计文档。
1.4 输入输出物
| 类别 | 输入物 | 输出物 |
|---|---|---|
| 参数清单 | 基准率、MDE、α、β、检验类型 | 样本量估算结果（每组最小样本量） |
| 工具记录 | 公式/代码调用截图或日志 | 计算过程描述（含版本号、时间戳） |
| 决策依据 | 业务方的 MDE 判断会议记录 | 实验方案评审意见（含样本量合规性） |
1.5 责任边界
- 数据科学家 / 统计分析师：负责提供正确的计算方法和公式，校验输入参数合理性。
- 产品经理 / 业务方：负责提供 MDE 的业务判断和基准率数据，并确认输出样本量是否在可接受范围内（流量、时间成本）。
- 实验平台工程师：负责将样本量结果配置到分流系统，确保实际流量分配不小于估算需求。
- 评审决策者：最终签字确认实验方案，并对因样本量不足导致的统计风险负监督责任。
1.6 记录材料
每次样本量估算必须留存以下三类材料：
- 参数快照：包含基准率、MDE、α、β、检验类型的版本记录（建议存入实验元数据表）。
- 计算脚本/截图：若使用 R/Python，保留命令；若使用计算器，截图保存。
- 变更日志：若因流量不足或业务调整修改过 MDE，需记录修改原因、时间、审批人。
# R 语言示例：二值指标样本量计算
power.prop.test(
p1 = 0.10, # 对照组基准转化率 10%
p2 = 0.12, # 预期实验组转化率 12% → MDE = 2p.p.
sig.level = 0.05, # α
power = 0.80, # 1-β
alternative = "two.sided"
)
# 输出：每组需要 2,199 个样本1.7 异常处理
| 异常情形 | 原因 | 处理方法 |
|---|---|---|
| 计算结果为负数或零 | MDE 设置大于基准率（如基准率 5%，MDE 10%） | 检查 MDE 定义是否合理；不超过基准率的 100% |
| 所需样本量超过可用流量 | MDE 过小或功效要求过高 | 与业务方协商增大 MDE，或降低功效（0.70 可接受） |
| 多组对比时样本冲突 | 多个实验共享同一流量池 | 引入流量预留机制，或采用序贯检验减少总样本 |
| 基准率不稳定（波动大） | 历史数据周期短或业务有季节性 | 使用带置信区间的基准率上界；延长预热期 |
注意：不要为降低样本量而随意减小 α 或增大 MDE，必须在实验开始前由业务方和统计方共同确认。
1.8 验收标准
- 计算正确性：使用两种独立方法（如公式手动推导 + 工具验证）得到的结果差异 ≤ 1%。
- 参数可追溯：所有输入参数均能在实验设计文档中找到明确引用来源。
- 场景匹配：输出的样本量估算报告明确标注其适用的场景编号（①~⑤）。
- 审批闭环：业务方、数据科学家、平台工程师三方在估算报告上签字或电子审批。
- 变更同步：若在实验进行中调整参数，需更新估算记录并重新审批。