2、A/B测试的统计学原理：总体与样本、零假设与备择假设、显著性水平α、p值、统计功效

A/B测试本质上是一种统计推断过程——我们通过观察少量用户（样本）的行为，来推断整个用户群体（总体）的真实差异。理解其背后的统计学原理，是设计严谨实验、避免“假阳性”和“假阴性”错误的基础。

2.1 总体与样本：从局部看全局

在A/B测试中，总体是你未来将要应用实验结论的全部用户（例如“所有注册用户”或“所有新访客”）。样本是实际参与实验的那部分用户。我们永远无法直接测量总体的真实参数（如真实转化率），只能通过样本统计量（如样本转化率）来估计。

2.2 零假设与备择假设：实验的两种对立观点

每一次A/B测试都对应一对互斥的假设：

• 零假设（H₀）：默认假设，通常表示“没有效果”或“没有差异”。例如：新按钮（B组）的转化率 ≤ 旧按钮（A组）的转化率。
• 备择假设（H₁）：研究者希望证明的结论，通常表示“存在效果”或“存在差异”。例如：新按钮（B组）的转化率 > 旧按钮（A组）的转化率。

统计检验的逻辑是：我们假设H₀为真，然后计算在H₀为真的前提下，观察到当前样本数据（或更极端数据）的概率。如果这个概率足够小，我们就拒绝H₀，转而接受H₁。

2.3 显著性水平α：你愿意承担多大的“假阳性”风险

显著性水平α是研究者预先设定的一个阈值，代表“当H₀实际上为真时，错误地拒绝H₀”的概率上限。α通常取0.05或0.01。

• α = 0.05：意味着如果H₀为真，你最多有5%的概率错误地宣称实验有效（即“假阳性”或“第一类错误”）。
• α = 0.01：更严格，假阳性风险降低到1%，但需要更大的样本量才能检测到同样的效果。

2.4 p值：数据与零假设的“兼容性分数”

p值是在H₀为真的前提下，观察到当前样本结果（或更极端结果）的概率。p值越小，说明数据与H₀的兼容性越差，越有理由拒绝H₀。

• p ≤ α：结果具有“统计显著性”，拒绝H₀。
• p > α：结果不具有统计显著性，不能拒绝H₀（注意：不能接受H₀，只能说证据不足）。

2.5 统计功效：你有多大把握检测到真实效果

统计功效（1 - β）是当H₁为真时，正确拒绝H₀的概率。β是“假阴性”或“第二类错误”的概率——即真实存在效果，但实验未能检测出来。

统计功效受四个因素影响：

1. 效应量（Effect Size）：真实差异越大，越容易被检测到，功效越高。
2. 样本量：样本越大，功效越高。
3. 显著性水平α：α越小（越严格），功效越低（需要更大样本补偿）。
4. 数据变异性：指标方差越小，功效越高。

2.6 四种可能的结果：错误类型与权衡

在A/B测试中，真实情况与决策结果存在四种组合：

2.7 实践中的统计陷阱

• 多重比较问题：同时检验多个指标或多次查看实验结果，会累积假阳性风险。使用Bonferroni校正或控制FDR。
• 提前停止实验：在p值刚达到显著性时就停止实验，会严重夸大假阳性率。应预先确定样本量，或使用序贯检验。
• 忽视效应量：统计显著不等于实际显著。大样本下微小差异也可能显著，需结合业务意义判断。
• 混淆统计显著性与经济显著性：即使p<0.001，如果提升幅度只有0.01%，可能不值得投入开发资源。