3. 假设检验与统计基础：零假设与备择假设、p值、置信区间、第一类与第二类错误

在A/B测试中，我们无法直接“证明”实验组优于对照组，而是通过统计推断来评估观察到的差异是否真实存在。假设检验是这一推断过程的核心框架，它帮助我们量化决策风险，避免被随机波动误导。

3.1 零假设与备择假设：决策的起点

每一次A/B测试都对应一对互斥的假设：

• 零假设（H₀）：默认立场，通常表示“无差异”或“无效果”。例如：新推荐算法与旧算法在点击率上没有差异（μ新 = μ旧）。
• 备择假设（H₁）：我们试图寻找证据支持的立场，通常表示“有差异”或“有效果”。例如：新推荐算法的点击率高于旧算法（μ新 > μ旧）。

3.2 p值：证据的量化标尺

p值是在零假设为真的前提下，观察到当前样本结果（或更极端结果）的概率。它并非“H₀为真的概率”，而是衡量样本数据与H₀之间矛盾程度的指标。

• p值小（通常 < 0.05）：样本数据与H₀的预期严重不符，我们有理由拒绝H₀。
• p值大（≥ 0.05）：样本数据与H₀的预期没有显著矛盾，我们无法拒绝H₀。

3.3 置信区间：效果大小的范围估计

p值只告诉我们“是否有效”，而置信区间告诉我们“效果有多大”。95%置信区间表示：如果我们重复实验100次，大约有95次计算出的区间会包含真实的总体效果。

当置信区间完全位于零的右侧（全部为正数）或左侧（全部为负数）时，结果与p值显著一致；若区间包含零，则结果不显著。

3.4 第一类与第二类错误：决策的代价

假设检验无法做到100%正确，我们必须在两类错误之间权衡：

• 第一类错误（α）：错误地拒绝了真实的零假设（假阳性）。在A/B测试中，就是“误认为无效策略有效”，导致上线一个实际上没有提升的策略。
• 第二类错误（β）：错误地接受了错误的零假设（假阴性）。在A/B测试中，就是“误认为有效策略无效”，错过一个真正能提升收益的策略。

3.5 统计功效：避免错过真实效果

统计功效（Power = 1 - β）是当备择假设为真时，正确拒绝零假设的概率。在A/B测试中，功效不足意味着即使策略有效，我们也可能无法检测到。

3.6 高频收益场景中的统计决策清单

在沙盘推演中，每次A/B测试结束后，我们按以下清单进行统计决策：

1. 设定显著性水平α：通常为0.05，高风险策略可收紧至0.01。
2. 计算p值：比较p值与α，判断是否拒绝H₀。
3. 查看置信区间：确认效果大小的下限是否具有业务价值（如收益提升下限 > 0.5%）。
4. 评估统计功效：若结果不显著，检查功效是否足够（≥80%），避免因样本不足而误判。
5. 权衡两类错误：根据策略上线成本与机会成本，决定是否接受当前风险水平。