3. 假设检验入门：原假设与备择假设、显著性水平α、p值、第一类与第二类错误
假设检验是A/B测试的统计学基石。它帮助我们判断观察到的效果差异是真实存在的，还是仅仅由随机波动引起。本章将系统讲解假设检验的核心概念，包括原假设与备择假设的设定、显著性水平α的选择、p值的解读，以及两类错误的权衡。
3.1 原假设与备择假设
在A/B测试中，我们首先需要明确两个互斥的假设：
- 原假设（H₀）：通常代表“无效果”或“无差异”的保守立场。例如，新模型与旧模型的效果相同，或新策略没有带来提升。
- 备择假设（H₁）：代表我们想要证明的“有效果”或“有差异”的立场。例如，新模型的效果显著优于旧模型。
设定原则：原假设是“有罪推定”的反面——我们假设被告（新模型）无罪（无效果），除非有足够证据推翻这一假设。在A/B测试中，我们总是试图拒绝原假设，从而接受备择假设。
| 场景 | 原假设 H₀ | 备择假设 H₁ |
|---|---|---|
| 模型效果对比 | 新模型与旧模型效果无差异 | 新模型效果优于旧模型 |
| 推荐算法优化 | 新算法点击率 ≤ 旧算法 | 新算法点击率 > 旧算法 |
| 风控模型升级 | 新模型误报率 ≥ 旧模型 | 新模型误报率 < 旧模型 |
3.2 显著性水平α
显著性水平α是我们愿意承担“错误拒绝原假设”风险的最大概率。它是在实验开始前设定的阈值，通常取0.05或0.01。
- α = 0.05：意味着我们愿意接受5%的概率，即当原假设为真时错误地拒绝它。
- α = 0.01：更严格，只允许1%的错误概率，适用于高风险场景（如医疗、金融）。
常见误区：α不是“实验有95%概率正确”的意思。它只控制第一类错误的概率上限，不反映实验的整体可靠性。
3.3 p值
p值是在原假设为真的前提下，观察到当前样本结果（或更极端结果）的概率。它是衡量样本数据与原假设之间“矛盾程度”的指标。
- p值 ≤ α：结果在统计上显著，拒绝原假设，接受备择假设。
- p值 > α：结果不显著，无法拒绝原假设。
关键理解：p值不是“原假设为真的概率”，也不是“效果大小”的度量。它只告诉我们：如果原假设是真的，得到当前数据有多“意外”。
3.4 第一类错误与第二类错误
在假设检验中，我们可能犯两种错误，它们与真实情况的关系如下表所示：
| 原假设 H₀ 为真 | 备择假设 H₁ 为真 | |
|---|---|---|
| 不拒绝 H₀ | ✅ 正确决策（真阴性） | ❌ 第二类错误（β，假阴性） |
| 拒绝 H₀ | ❌ 第一类错误（α，假阳性） | ✅ 正确决策（真阳性） |
- 第一类错误（Type I Error，α）：原假设为真时错误地拒绝它。在A/B测试中，相当于“误报”——认为新模型有效，但实际上无效。α由我们事先设定。
- 第二类错误（Type II Error，β）：备择假设为真时错误地不拒绝原假设。相当于“漏报”——新模型确实有效，但测试未能检测出来。β与样本量、效果大小、α有关。
统计功效（Power = 1 - β）：当备择假设为真时，正确拒绝原假设的概率。在A/B测试中，我们通常要求功效达到80%或90%，以确保有足够能力检测出真实效果。
3.5 实际应用中的权衡
在A/B测试实践中，我们需要根据业务场景平衡两类错误：
- 高风险场景（如医疗、金融风控）：优先控制第一类错误（α），避免“误报”导致错误决策。通常取α = 0.01或更低。
- 探索性场景（如推荐算法迭代）：可以适当放宽α（如0.10），同时关注功效，避免“漏报”错过潜在优化机会。
- 样本量受限时：增大α或接受较低的统计功效，但需明确记录风险。
实用建议：在A/B测试中，建议同时报告p值和效应量（如Cohen's d或提升百分比），而不仅仅依赖“显著/不显著”的二元结论。这有助于更全面地评估模型效果的实际意义。