4. 假设检验与统计基础：原假设与备择假设、第一类错误与第二类错误、P值、置信区间
假设检验是A/B测试的统计学核心。它帮助我们判断观察到的实验组与对照组之间的差异，究竟是真实的策略效果，还是仅仅由随机波动造成的。本章将系统梳理假设检验的四大基石：原假设与备择假设、两类错误、P值以及置信区间。
4.1 原假设与备择假设
在A/B测试中，我们首先需要明确两个对立的假设：
- 原假设（H₀）：通常代表“无效果”或“无差异”的保守立场。例如，新版本与旧版本的转化率相同。
- 备择假设（H₁）：代表我们想要证明的“有效果”或“有差异”的立场。例如，新版本的转化率高于旧版本。
假设检验的逻辑类似于“反证法”：我们假设原假设为真，然后计算在当前数据下观察到如此极端结果的概率。如果这个概率非常小，我们就拒绝原假设，转而接受备择假设。
案例： 某电商平台测试新支付流程。H₀：新流程与旧流程的支付成功率相同（μ新 = μ旧）。H₁：新流程的支付成功率更高（μ新 > μ旧）。
4.2 第一类错误与第二类错误
由于我们基于样本推断总体，决策过程必然存在犯错的风险。两类错误是假设检验中必须权衡的核心概念。
| 决策结果 | H₀ 为真（无效果） | H₁ 为真（有效果） |
|---|---|---|
| 拒绝 H₀（宣布有效） | 第一类错误（α） 假阳性 / 误报 |
正确决策（功效） |
| 未拒绝 H₀（宣布无效） | 正确决策 | 第二类错误（β） 假阴性 / 漏报 |
- 第一类错误（α）：原假设为真，但我们错误地拒绝了它。在A/B测试中，意味着策略实际上无效，但我们错误地认为它有效。通常将α控制在5%（显著性水平）。
- 第二类错误（β）：备择假设为真，但我们未能拒绝原假设。意味着策略实际上有效，但我们没有检测出来。1-β称为统计功效（Power），通常要求达到80%以上。
避坑指南： 在实验设计阶段，必须同时考虑α和β。只关注显著性水平而忽略功效，可能导致样本量不足，从而错过真正有效的策略。
4.3 P值
P值是假设检验中最常用、也最容易被误解的指标。它的严格定义是：在原假设为真的前提下，观察到当前样本结果或更极端结果的概率。
- P值小（例如 P < 0.05）：意味着在原假设为真的情况下，当前数据出现的概率极低。因此我们有理由拒绝原假设，认为差异具有统计学显著性。
- P值大（例如 P ≥ 0.05）：意味着当前数据在原假设下并不罕见，我们没有足够证据拒绝原假设。
关键理解： P值不是“H₀为真的概率”，也不是“策略有效的概率”。它衡量的是数据与原假设之间的兼容性。P值越小，数据与原假设越不兼容。
4.4 置信区间
置信区间提供了比P值更丰富的信息。它给出了一个范围，我们相信总体参数（如转化率提升）以一定的置信水平落在这个范围内。
- 95%置信区间：如果重复实验100次，大约有95次计算出的置信区间会包含真实的总体参数。
- 与假设检验的关系：如果95%置信区间不包含0（或1，对于比率），则对应的P值小于0.05，结果显著。
实际应用： 假设新版本转化率提升的95%置信区间为 [1.2%, 3.8%]。这意味着我们95%确信真实提升在1.2%到3.8%之间。这个区间不仅告诉我们效果显著（不包含0），还告诉我们效果的大小范围，比单一的P值更有决策价值。
4.5 核心概念对比总结
| 概念 | 定义 | A/B测试中的含义 | 常用阈值 |
|---|---|---|---|
| 原假设（H₀） | 无差异的假设 | 新版本与旧版本效果相同 | — |
| 备择假设（H₁） | 有差异的假设 | 新版本效果优于（或不同于）旧版本 | — |
| 第一类错误（α） | 假阳性：错误拒绝H₀ | 误认为无效策略有效 | 0.05（5%） |
| 第二类错误（β） | 假阴性：错误接受H₀ | 漏掉真正有效的策略 | 0.20（20%） |
| P值 | H₀为真时观察到当前数据的概率 | 判断结果是否显著 | P < 0.05 |
| 置信区间 | 总体参数的可能范围 | 估计效果大小与方向 | 95% |
最佳实践： 在报告A/B测试结果时，始终同时报告P值和置信区间。P值告诉你“是否有效”，置信区间告诉你“效果有多大”。一个完整的结论示例：“新版本转化率提升2.5%（95% CI: [1.2%, 3.8%], P = 0.003）”。