第2章：假设检验的两类错误：I类错误（假阳性）、II类错误（假阴性）、统计功效（Power）
2.1 两类错误的核心定义
假设检验本质上是一种“有风险的决策”。由于我们只能基于样本推断总体，无论P值多小，都无法100%确定原假设的真假。因此，统计学家定义了两种可能犯的错误：
- I类错误（假阳性）：原假设 \(H_0\) 实际为真，但检验结果却拒绝 \(H_0\)。记为 \(\alpha\)，通常设定为0.05或0.01。
- II类错误（假阴性）：原假设 \(H_0\) 实际为假，但检验结果却未能拒绝 \(H_0\)。记为 \(\beta\)，通常与样本量、效应量有关。
记忆口诀：
- I类错误 = “虚惊一场”（报警了，但其实没火）
- II类错误 = “漏报”（火真的着了，但警报没响）
2.2 两类错误与决策的四种结果
| 真实情况 | 决策：接受 \(H_0\) | 决策：拒绝 \(H_0\) |
|---|---|---|
| \(H_0\) 为真 | ✅ 正确（置信度 \(1-\alpha\)） | ❌ I类错误（假阳性，\(\alpha\)） |
| \(H_0\) 为假 | ❌ II类错误（假阴性，\(\beta\)） | ✅ 正确拒绝（统计功效 \(1-\beta\)） |
关键关系：在固定样本量下，\(\alpha\) 和 \(\beta\) 此消彼长。降低I类错误的门槛（例如 \(\alpha\) 从0.05降到0.01）会增大II类错误的风险，降低统计功效。
2.3 类比解释：法庭审判中的“两类错误”
假设检验的决策逻辑与法庭的“无罪推定”高度相似：
- 原假设 \(H_0\) = 被告无罪
- 备择假设 \(H_1\) = 被告有罪
- 证据强度 = 检验统计量与P值
- 判决标准 = \(\alpha\) (如“排除合理怀疑”的阈值)
此时：
- I类错误（假阳性）：判了一个无辜的人有罪。——α控制的是“冤枉好人”的概率。
- II类错误（假阴性）：放走了一个真正的罪犯。——β对应“放纵坏人”的概率。
- 统计功效（Power）：当被告确实有罪时，法庭能正确定罪的概率（\(1-\beta\)）。
在A/B测试中，I类错误意味着“宣布一个无效的改动有效”（浪费资源上线无效果功能），II类错误意味着“错过一个真正有效的改动”（失去增长机会）。
2.4 常见误区辨析
误区一：“P值＞0.05说明原假设为真”
事实：P值＞α只能说明没有足够的证据拒绝原假设，并不代表原假设成立。这可能是由于样本量太小（功效不足）或效应量太小导致的II类错误。
误区二：“α越小越好，能避免犯错”
事实：过度降低α（如0.001）虽然减少了I类错误，但会大幅增加II类错误，使得检验几乎无法发现真实效应。实际中需根据问题背景权衡两类错误的代价。
误区三：“如果统计功效很高，就不会出现II类错误”
事实：功效高只意味着II类错误的概率低，但仍有可能发生（尤其是当效应量被高估时）。统计检验永远无法100%保证正确。
2.5 统计功效（Power）的深入理解
统计功效 = 当 \(H_0\) 为假时正确拒绝它的概率，即 \(1-\beta\)。在A/B测试中，功效决定了“如果实验组确实有提升，你能检测出来的概率”。
影响功效的四个因素：
- 样本量（n）：n越大，功效越高。
- 效应量（effect size）：真实差异越大，功效越高。
- 显著性水平 \(\alpha\)：\(\alpha\) 越大，功效越高（但代价是I类错误增加）。
- 方差（variance）：数据波动越小，功效越高。
实用建议：在实验设计阶段，先进行功效分析，确保样本量足以达到 0.8 的功效（即80%的概率检测到预期最小效应）。常用工具：pwr 包（R）或 statsmodels（Python）。
2.6 实际应用边界
- 多假设检验场景：当同时检验多个指标时，I类错误会膨胀（家庭错误率）。需使用Bonferroni校正、FDR控制等方法。
- 小样本实验：功效通常很低，容易出现II类错误。此时“无显著差异”的结论不可靠，应结合置信区间或贝叶斯方法。
- 顺序检验与提前停止：在A/B测试中不断查看结果并过早停止，会人为增大I类错误。需使用序贯分析方法（如Group Sequential Design）。
2.7 练习题（巩固理解）
- 选择题：一家电商平台进行A/B测试，最终P值为0.03，预设α=0.05。已知该改动实际上并没有提升转化率。请问：
A) 检验正确接受了原假设
B) 检验犯了I类错误
C) 检验犯了II类错误
D) 功效不足导致的结果
（答案：B） - 计算题：某医学检验的I类错误率α=0.01，II类错误率β=0.20。问统计功效是多少？如果观察到的P=0.008，是否拒绝原假设？
功效 = 1 - β = 1 - 0.20 = 0.80 P = 0.008 < α = 0.01 → 拒绝 H₀ - 辨析题：有人说“P值不显著（>0.05）就说明实验组和对照组没有差异”，请指出其中的错误，并说明正确的解释是什么。
提示：考虑II类错误与功效。