4. 实验设计原则：随机化、对照原则、样本量计算、最小可检测效应量（MDE）的确定

在规则引擎的 A/B 测试中，实验设计的质量直接决定了评估结论的可靠性。一个设计不良的实验可能得出虚假的正向结论（假阳性）或遗漏真实的优化机会（假阴性）。本章围绕四个核心设计原则展开：随机化、对照原则、样本量计算与最小可检测效应量（MDE）的确定。

4.1 随机化：消除选择偏差的基石

随机化是指将实验单元（用户、请求或会话）以纯随机方式分配到实验组与对照组。其核心目标是使两组在实验开始前，在所有可观测与不可观测的特征上达到统计均衡。

4.1.1 随机化单元的选择

4.2 对照原则：建立可信的基准线

没有对照组的实验无法排除时间效应、季节效应或系统自身波动带来的干扰。在规则引擎 A/B 测试中，对照组通常使用当前线上运行的规则版本（即基线规则）。

4.2.1 对照组的常见陷阱

• 污染效应： 实验组规则影响了对照组用户的行为（如推荐规则改变导致对照组用户看到的商品池变少）。
• 溢出效应： 实验组与对照组用户之间存在社交或业务交互（如风控规则误伤导致同设备用户被连带限制）。
• 多重实验干扰： 同一用户同时参与多个 A/B 测试，规则叠加导致效果无法归因。

4.3 样本量计算：用统计力量支撑结论

样本量不足是 A/B 测试中最常见的错误之一。样本量计算依赖于四个参数：显著性水平（α）、统计功效（1-β）、最小可检测效应量（MDE）以及基线转化率。

4.3.1 样本量计算公式

对于二项分布指标（如转化率、通过率），常用的近似公式为：

n = (Z_α/2 + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)] / (p₂ - p₁)²

其中：
  n      = 每组所需样本量
  Z_α/2  = 显著性水平 α 对应的 Z 值（α=0.05 时取 1.96）
  Z_β    = 功效 1-β 对应的 Z 值（β=0.2 时取 0.84）
  p₁     = 对照组基线转化率
  p₂     = 实验组预期转化率（p₁ + MDE）

4.3.2 常见参数配置参考

4.4 最小可检测效应量（MDE）的确定

MDE 是指在给定样本量和显著性水平下，实验能够以一定功效检测到的最小真实效应值。MDE 越小，实验越敏感，但所需的样本量也越大。

4.4.1 MDE 与样本量的关系

MDE 与样本量呈反比关系：

• MDE 减半 → 样本量需要扩大约 4 倍
• MDE 增大 → 样本量可以显著减少

4.4.2 如何确定合理的 MDE

1. 业务价值驱动： 与产品经理、业务方确认，规则改动带来多大的效果提升才值得上线（例如：转化率提升 0.5% 或风控通过率提升 2%）。
2. 历史数据参考： 回顾过去 3-6 个月同类规则改动的平均效果，取中位数或 25% 分位数作为参考 MDE。
3. 资源约束： 根据每日可用流量和实验最大运行时长，反推可承受的最小 MDE。

4.5 实验设计流程总览

以下 SVG 图展示了从实验定义到样本量确认的完整设计流程：

4.6 样本量计算实战示例

假设某风控规则引擎的基线通过率为 85%，业务方希望检测到通过率提升 2 个百分点（即 MDE = 2%）的效果。设定 α = 0.05，功效 = 0.80。

p₁ = 0.85
p₂ = 0.87
MDE = 0.02

Z_α/2 = 1.96
Z_β   = 0.84

n = (1.96 + 0.84)² × [0.85×0.15 + 0.87×0.13] / (0.02)²
n = 7.84 × [0.1275 + 0.1131] / 0.0004
n = 7.84 × 0.2406 / 0.0004
n = 1.8863 / 0.0004
n ≈ 4716（每组）

如果每日可用流量为 5000 用户，则实验需要运行约 2 天（4716 × 2 / 5000 ≈ 1.89 天）。

4.7 四个原则的协同关系

下表总结了四个原则之间的依赖与制约关系：