4. A/B测试核心原理：假设检验、统计显著性、最小样本量计算、多重比较校正

A/B测试的本质是通过随机化实验，在统计框架下判断特征回放策略的差异是否由真实效果引起，而非随机波动。本章将拆解支撑这一判断的四大核心原理，确保你在特征回放场景中能正确设计实验、解读结果、避免常见统计陷阱。

4.1 假设检验：从“猜测”到“证据”的桥梁

假设检验是A/B测试的决策引擎。在特征回放中，我们通常设定两个互斥的假设：

• 零假设（H₀）：新特征回放策略与基线策略的效果无差异（如回放点击率相同）。
• 备择假设（H₁）：新策略效果显著优于（或劣于）基线策略。

实验的目标是收集数据，计算在H₀成立时观察到当前结果的概率（即p值）。若p值小于预设的显著性水平α（通常为0.05），则拒绝H₀，认为差异具有统计显著性。

4.2 统计显著性：α与p值的正确解读

统计显著性（α）是实验设计时设定的“误报”容忍度，代表即使H₀为真，我们愿意错误拒绝它的最大概率。常见α值及对应含义如下：

4.3 最小样本量计算：实验设计的“预算”规划

样本量不足会导致实验“有劲使不出”（统计功效低），样本量过大则浪费流量和时间。最小样本量计算需平衡四个要素：

• 显著性水平 α：通常固定为0.05。
• 统计功效 (1-β)：当真实效果存在时，正确拒绝H₀的概率，通常设为80%或90%。
• 最小可检测效应 (MDE)：你希望检测到的最小效果量（如点击率提升1%）。
• 基线转化率：对照组当前的指标值。

对于二分类指标（如点击率、转化率），常用公式如下：

n = ( (Z_α/2 + Z_β)² × (p₁(1-p₁) + p₂(1-p₂)) ) / (p₂ - p₁)²

其中：
  n = 每组所需样本量
  Z_α/2 = 对应显著性水平的Z值（α=0.05时取1.96）
  Z_β = 对应统计功效的Z值（功效=80%时取0.84）
  p₁ = 基线转化率
  p₂ = 预期转化率（p₁ + MDE）

以下表格展示了不同MDE和基线转化率下的最小样本量需求（α=0.05，功效=80%）：

4.4 多重比较校正：控制“假阳性”的防火墙

在特征回放中，我们常同时评估多个指标（如点击率、停留时长、转化率）或多个用户分群（如新用户、老用户）。每次比较都引入一次“假阳性”风险，多次比较会使整体错误率急剧膨胀。

两种主流校正方法对比：

4.5 核心概念对比总结