1. 为什么要计算样本量：统计功效、显著性水平、效应量、样本量不足的后果
A/B 测试中，样本量不是越大越好，也不是越少越省事。样本量的大小直接影响实验的可靠性、敏感性和经济性。不事先计算样本量，就像闭着眼睛射击——你可能浪费大量流量却得不到有效结论，或者花了大成本却只发现了微不足道的差异。
1.1 四个核心概念
| 概念 | 通俗解释 | 统计符号 | 作用 |
|---|---|---|---|
| 统计功效 | 当真实差异存在时，你正确发现它的概率 | 1 – β | 保证实验“抓得住”真实效应 |
| 显著性水平 | 允许的“假阳性”概率（没差异却误报有） | α | 控制犯错风险，通常取 0.05 |
| 效应量 | 你期望检测到的最小实际差异（如转化率提高 1%） | d 或 δ | 定义什么算是“有意义的改变” |
| 样本量不足的后果 | 因样本太少导致结论不可靠的一系列问题 | — | 警示盲目开始实验 |
1.2 类比：考试与及格线
🎯 类比： 想象一次考试，你想判断“新教学方法是否提高平均分”。
- 显著性水平（α） = 你愿意冒多大风险冤枉新方法（比如 5% 的概率误判为有效）。
- 效应量 = 你希望新方法至少提高多少分才算“有用”（比如 5 分）。
- 统计功效 = 如果新方法真的提高了 5 分，你有多大把握在这次考试中检测出来。
- 样本量 = 参加考试的学生人数。人数太少，哪怕新方法很有效，可能也看不出差异（低功效）；人数太多，又会浪费资源。
1.3 原理图解：样本量如何串联四大概念
下方 SVG 展示了样本量与统计功效、显著性水平、效应量之间的直接关系，以及样本量不足可能引发的后果。
1.4 常见误区
- 误区一：样本量越大，实验越“可信” — 样本量过大会使微小、无实际意义的差异也变得“显著”，导致过度反应。
- 误区二：显著性水平 α 越小越好 — α 降低会同步降低统计功效，除非相应增加样本量。
- 误区三：效应量是固定不变的 — 效应量取决于业务目标和先验知识，不是统计分析可以“调”出来的。
- 误区四：不用计算，凭经验选个样本量就行 — 不同测试的变体差异、指标方差、用户行为都不同，经验值常常失效。
1.5 练习题
💡 思考题
某电商平台计划做一次“新推荐算法 vs 旧算法”的 A/B 测试。实验中转化率提升预计为 0.3%（效应量很小），显著性水平 α = 0.05，希望统计功效达到 80%。
某电商平台计划做一次“新推荐算法 vs 旧算法”的 A/B 测试。实验中转化率提升预计为 0.3%（效应量很小），显著性水平 α = 0.05，希望统计功效达到 80%。
- 如果直接抽取 500 名用户（每组 250 人），最可能遇到什么情况？（A. 功效不足，很可能错过真实改进 B. 功效过高，浪费流量 C. 刚好合适）
- 要使功效达标，你需要增加还是减少样本量？
- 假设你无法获得更多流量，可调整哪个参数来保持设计可行性？（提示：可以放宽 α 或降低功效要求）
答案：1 → A；2 → 增加；3 → 放宽显著性水平（如 α 从 0.05 调至 0.10）或接受更低功效（如 60%）。
1.6 应用边界
- 探索性 / 漏斗优化阶段：可适当放宽功效要求（如 60%‑70%），以快速迭代，但对结果需更谨慎。
- 贝叶斯测试：样本量计算基于后验分布，而非频率派的显著性检验，需使用不同的公式。
- 多臂测试 / 分段实验：多个变体共存时，需进行多重比较校正（如 Bonferroni），这会提高对样本量的需求。
- 效应量未知：可以基于历史数据估算最小可检测效应，或采用最小经济显著性（如转化率提升 0.5% 才值得投入开发）作为输入。