第1章：假设检验的基本逻辑
假设检验是统计推断的“法庭”——我们通过收集数据来判断某个“说法”是否可信。本章拆解其核心逻辑：原假设与备择假设、小概率反证法、两类错误。
1.1 原假设与备择假设
在A/B测试中，通常有两个对立的声明：
- 原假设（H₀）：两组无差异（如：新版本与旧版本转化率相同）。它是被保护的对象，除非有充分证据否则不推翻。
- 备择假设（H₁）：两组存在差异（如：新版本转化率更高）。通常是研究者希望证明的结论。
记忆口诀：原假设 = “现状无罪”，备择假设 = “有罪指控”。统计检验要决定是否“指控”成功。
1.2 小概率反证法
核心思想：如果原假设成立，观察到当前数据（或更极端数据）的概率非常小（小于显著性水平 α），我们就拒绝原假设。这称为“小概率事件在一次实验中几乎不会发生”。
- 设定一个“小概率”阈值 α（通常 0.05 或 0.01）。
- 计算在原假设下得到样本数据的概率——p 值。
- 若 p ≤ α，则小概率事件发生了，我们有理由怀疑原假设，从而拒绝 H₀，接受 H₁。
类比：法庭审判
- 原假设 = 被告无罪（默认状态）
- 证据 = 样本数据
- 显著性水平 α = “排除合理怀疑”的标准（如 95% 置信）
- p 值 = 在被告无罪的前提下，出现这样不利证据的概率
- 拒绝原假设 = 宣判有罪（证据足够强）
1.3 两类错误
| 决策\真实情况 | H₀ 为真 | H₁ 为真 |
|---|---|---|
| 不拒绝 H₀ | ✅ 正确（1-α） | ❌ 第二类错误（β） |
| 拒绝 H₀（接受 H₁） | ❌ 第一类错误（α） | ✅ 正确（1-β，即检验功效） |
- 第一类错误（α）：错杀好人——实际无差异，却判断有差异。α 由我们设定（如 0.05）。
- 第二类错误（β）：放走坏人——实际有差异，却判断无差异。β 取决于样本量、效应量、α 等。
常见误区：并非 p 值越小差异越大。p 值只表示“在原假设下数据出现的概率”，≠ 效应大小。另：拒绝 H₀ 不代表“证明了 H₁”，只是“有统计学意义地支持 H₁”。
1.4 原理图解
1.5 练习题
- 某A/B测试中，原假设 H₀：新旧版本转化率无差异。实验后 p = 0.03，显著性水平 α = 0.05。你该做出什么决策？可能犯哪类错误？
- 若样本量增大，β 通常会如何变化？为什么？
- “p = 0.01 意味着新版本比旧版本好 99%”——这个说法正确吗？请说明理由。
参考答案：1. p < α，拒绝 H₀，可能犯第一类错误（α）。2. β 通常减小，因为样本信息增加，更容易检测出差异。3. 错误。p 值表示在原假设下数据的概率，并非效应大小或“正确概率”。
1.6 应用边界
- 依赖随机化：假设检验要求数据来自随机分配或代表性抽样，否则结论可能无效。
- 样本量不足：小样本容易遗漏真实差异（高 β），也容易对偶然波动敏感。
- 多重比较：同时检验多个指标时，α 膨胀，需校正（如 Bonferroni）。
- 效应量不可忽视：统计显著未必实际重要。例如百万级样本可能检测出 0.01% 的转化率差异，但业务意义甚微。
理解这些基础，才能正确解读A/B测试的结果，避免“统计显著就盲目上线”的陷阱。