2. A/B测试基础回顾：假设检验、统计显著性、置信区间、样本量计算、第一类与第二类错误

A/B测试的本质是统计决策。在将特征回放与效果评估结合之前，必须牢固掌握假设检验的底层逻辑。本章从经典统计推断出发，梳理A/B测试中必须理解的五个核心概念，并给出可直接用于实验设计的参考标准。

2.1 假设检验：原假设与备择假设

每一次A/B测试都对应一个统计假设对：

• 原假设 H₀：实验组与对照组无差异（如新特征对核心指标无提升）。
• 备择假设 H₁：实验组与对照组存在显著差异（如新特征带来正向或负向变化）。

实验的目标是通过样本数据判断是否有足够证据拒绝 H₀，从而接受 H₁。拒绝 H₀ 的决策依据是p值与预先设定的显著性水平 α 的比较。

2.2 统计显著性（α 与 p值）

统计显著性衡量的是“观察到的差异由随机误差引起的概率”。

当 p ≤ α 时，拒绝 H₀，认为实验结果具有统计显著性。但需注意：统计显著 ≠ 实际显著。大样本下微小差异也可能达到显著，必须结合效应量（Effect Size）判断业务价值。

2.3 置信区间

置信区间（Confidence Interval, CI）给出了参数估计的范围，比单一 p 值提供更多信息。95% 置信区间的含义是：重复抽样 100 次，大约有 95 个区间会包含真实参数值。

在A/B测试中，通常计算实验组与对照组均值之差的 95% 置信区间：

• 若区间完全在 0 右侧 → 实验组显著优于对照组（正向显著）。
• 若区间完全在 0 左侧 → 实验组显著劣于对照组（负向显著）。
• 若区间包含 0 → 差异不显著。

# Python 示例：计算两组均值差的 95% 置信区间
import numpy as np
from scipy import stats

control = np.random.normal(100, 15, 1000)
treatment = np.random.normal(103, 15, 1000)

diff = treatment.mean() - control.mean()
se = np.sqrt(treatment.var()/len(treatment) + control.var()/len(control))
ci_low = diff - 1.96 * se
ci_high = diff + 1.96 * se
print(f"均值差: {diff:.2f}, 95% CI: [{ci_low:.2f}, {ci_high:.2f}]")

2.4 第一类错误与第二类错误

统计决策存在两种错误方向，理解它们对实验设计至关重要。

统计功效（Power） = 1 − β，表示当真实差异存在时，实验能正确检测出该差异的概率。通常要求 Power ≥ 0.80。

2.5 样本量计算

样本量计算是实验设计的第一步。所需样本量取决于四个参数：

• 显著性水平 α：通常取 0.05
• 统计功效 1−β：通常取 0.80
• 最小可检测效应量（MDE）：业务上认为有意义的最小提升幅度
• 基线转化率 / 指标方差：对照组的历史表现

对于比例型指标（如转化率），样本量公式为：

n = (Z_α/2 + Z_β)² × [p₁(1−p₁) + p₂(1−p₂)] / (p₂ − p₁)²

其中：
Z_α/2 = 1.96（对应 α=0.05，双尾）
Z_β   = 0.84（对应 β=0.20，功效=0.80）
p₁    = 对照组转化率
p₂    = 实验组预期转化率

2.6 概念关系总览

以下SVG图将五个核心概念整合为一个决策流程，帮助理解它们在A/B测试中的串联关系。

2.7 常见误区与最佳实践