零假设与备择假设、I类错误与II类错误、检验功效的定义
统计假设检验是A/B测试的决策骨架。任何一个A/B测试都围绕两个互斥的假设展开：一个代表“没有变化”的现状，一个代表“有变化”的声明。每次检验都会面临两类错误的权衡，而检验功效则衡量你发现真实效应的能力。
1. 零假设与备择假设：裁判的开始哨
零假设（H₀）：通常表示“无差异”或“无效果”。在A/B测试中，H₀ 是“对照组与实验组的指标没有真实差异”的声明。它是一条默认规则，除非证据充分，否则不推翻。
备择假设（H₁）：与H₀对立，表示“存在真实差异”。可以是双尾（A ≠ B），也可以是单尾（A > B 或 A < B）。
关键词记忆： H₀ = “无辜”，H₁ = “有罪”。司法原则“无罪推定”对应零假设——你只有足够证据才能推翻它。
类比：法庭审判
- 零假设：被告无罪（原状）
- 备择假设：被告有罪（有变化）
- 证据（数据）：测试结果
- 判决：基于统计显著性的决策
2. I类错误与II类错误：犯错的代价
当我们基于样本数据对H₀做出“拒绝”或“不拒绝”的决策时，可能犯两种错误：
| 决策\|真实状况 | H₀为真（无效果） | H₀为假（有效果） |
|---|---|---|
| 拒绝H₀（宣布有差异） | I类错误（假阳性） 概率 = α | 正确决策（真阳性） 概率 = 1 − β |
| 不拒绝H₀（无法宣布） | 正确决策（真阴性） 概率 = 1 − α | II类错误（假阴性） 概率 = β |
I类错误（α）：你上线了一个无效功能，浪费资源甚至伤害用户体验。
II类错误（β）：你错过了一个有效功能，让竞争对手领先。
II类错误（β）：你错过了一个有效功能，让竞争对手领先。
常见误区
- 误区1：认为p值 = 0.05意味着H₀为假的概率是95%。
事实：p值是在H₀为真时观察到当前或更极端结果的概率。 - 误区2：认为α = 0.05时，犯I类错误的概率总是5%。
事实：当你多次检验时，整体错误率会膨胀；多重比较需校正。 - 误区3：认为β不重要，只要显著就好。
事实：低功效的测试容易遗漏真实效应，导致“假阴性”决策。
3. 检验功效（Statistical Power）
定义：检验功效 = 1 − β，即当H₀为假时，正确拒绝它的概率。功效越高，你越有可能发现真实存在的差异。
功效的影响因素：
- 样本量（n）：样本越大，功效越高。
- 效应量（effect size）：真实差异越大，功效越高。
- 显著性水平（α）：α越大，功效越高（但I类错误风险也增大）。
- 检验类型/方差：单尾检验比双尾检验功效更高；数据方差越小，功效越高。
应用边界提醒： 功效不是固定值，它依赖于你设定的效应量。如果效应量极小，即使样本量巨大，功效也可能不足。在A/B测试前，通常要求功效 ≥ 0.80（即β ≤ 0.20）。
4. 原理图解：统计假设检验决策树
5. 随堂练习题
- 某测试p=0.03，α=0.05。某人说“错误概率是3%”。请指出该说法中的概念混淆。
- 你设计一个测试，希望检测转化率从5%提升到6%。给定α=0.05，功效=0.80，你需要多少样本？如果实际提升只有0.5%，样本量不变时功效会如何变化？
- 公司规定所有测试要运行两周，但你的测试在第一天就达到p<0.001。你是否应该提前停止？为什么？
参考答案提示： 第1题混淆了p值与I类错误概率；p值是在H₀为真下观察到极端结果的条件概率，并非H₀为真的概率。第2题功效随效应量减小而降低，你需要更大样本。第3题早期停止可能放大I类错误，应预先设计序贯检验或使用固定样本量。
6. 应用边界
- 假设检验不证明H₀为真：只能“不拒绝”或“拒绝”，不能“接受”。
- I类错误与II类错误存在权衡：降低α（更严格）会增加β，反之亦然。样本量是唯一能同时降低两者的工具。
- 功效计算需要预先指定效应量：不能事后补算“实际功效”，那会失去统计效力意义。
- 多重比较：当在同一实验中检验多个指标或变体时，整体α会膨胀，需使用Bonferroni、FDR等方法校正。
掌握这些基础概念，才能正确理解样本量计算公式背后的统计动机——我们既要控制假阳性（α），又要保证足够的真阳性概率（功效），而样本量正是连接两者的关键参数。