3. 实验设计基础：A/B测试原理、随机分流、样本量计算、最小可检测效应

在 Champion vs. Challenger 策略对比中，A/B 测试是验证策略效果差异的黄金标准。本章将系统讲解 A/B 测试的核心原理、随机分流机制、样本量计算方法以及最小可检测效应（MDE）的概念，帮助你在实验设计阶段就规避常见陷阱。

3.1 A/B测试原理与核心要素

A/B 测试本质上是一种受控实验：将用户随机分为两组，分别暴露于 Champion（对照组）和 Challenger（实验组）策略，通过比较两组在核心指标上的差异来判断 Challenger 是否显著优于 Champion。

3.2 随机分流机制

随机分流是 A/B 测试的基石。如果分流不随机，实验结论将毫无意义。常见的随机分流方法包括：

• 用户级随机： 以用户 ID 为单元进行随机分配，保证同一用户始终看到同一策略。适用于用户行为存在记忆效应的场景（如推荐系统）。
• 请求级随机： 每次用户请求时独立随机分配。适用于无状态场景（如搜索结果排序），但可能造成用户体验不一致。
• 分层随机： 先按关键特征（如新老用户、设备类型）分层，再在各层内随机分配。能保证各层内两组均衡，提升统计灵敏度。

3.3 样本量计算

样本量不足会导致实验无法检测出真实存在的差异（低统计功效），样本量过大则浪费资源。样本量计算需要四个输入参数：

• 显著性水平（α）： 通常取 0.05，即愿意承担 5% 的假阳性风险。
• 统计功效（1-β）： 通常取 0.80，即希望有 80% 的概率检测出真实差异。
• 基线转化率（p₁）： 对照组当前的核心指标值。
• 最小可检测效应（MDE）： 你希望检测到的最小绝对提升或相对提升。

对于二分类指标（如转化率），常用公式为：

n = (Z_α/2 + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)] / (p₂ - p₁)²

其中：
  n      = 每组所需样本量
  Z_α/2  = 对应显著性水平 α 的双侧 Z 值（α=0.05 时取 1.96）
  Z_β    = 对应统计功效 1-β 的单侧 Z 值（功效=0.80 时取 0.84）
  p₁     = 对照组基线转化率
  p₂     = 实验组预期转化率（p₂ = p₁ + MDE）

3.4 最小可检测效应（MDE）

MDE 是指在给定样本量和统计参数下，实验能够以指定功效检测出的最小真实效应大小。MDE 与样本量呈反比：样本量越大，能检测到的效应越小。

MDE 的设定直接影响实验成本与业务决策：

• MDE 设置过小： 需要海量样本，实验周期长，成本高，且可能检测到统计显著但业务无意义的微小差异。
• MDE 设置过大： 样本量需求小，但可能错过中等程度的真实提升，导致错误地放弃有效的 Challenger 策略。

3.5 实验设计检查清单

在启动 Champion vs. Challenger 实验前，请逐项确认以下要点：

1. 明确核心指标： 确定一个主要指标（如转化率），避免同时看多个指标导致多重比较问题。
2. 设定 MDE： 基于业务预期 ROI 设定最小可检测效应，而非基于统计便利。
3. 计算样本量： 使用公式或工具计算所需样本量，确保实验周期可行。
4. 设计分流方案： 选择合适的分流单元（用户级/请求级），并验证分流均匀性。
5. 确定实验时长： 至少覆盖一个完整的业务周期（如一周），避免星期效应干扰。
6. 预注册分析计划： 在实验开始前明确分析方法和停止规则，避免 p-hacking。