3. A/B测试实验设计：随机化原则、样本量计算、分流策略与最小可检测效应
A/B测试是因果推断的黄金标准，其核心在于通过严格的实验设计隔离干预变量，从而量化策略变更带来的真实效果。本章聚焦实验设计的四个关键支柱：随机化、样本量、分流策略与最小可检测效应（MDE）。任何环节的疏忽都可能导致实验结论失效或资源浪费。
3.1 随机化原则：实验有效性的基石
随机化是A/B测试的“第一性原理”。其目标是通过随机分配，使实验组与对照组在所有潜在混淆变量（如用户活跃度、设备类型、历史行为）上达到统计均衡。没有随机化，就无法将效果差异归因于干预本身。
核心要点： 随机化不是“随便分”，而是必须保证每个实验单元在分配前具有相同的概率进入任意一组。常见的错误包括按用户ID奇偶性分流（易受时间模式干扰）或按注册时间先后分组（引入时间偏差）。
随机化必须在分流时刻即时执行，且使用高质量的伪随机数生成器（如 secrets.randbelow 或 numpy.random.choice 并设置固定种子）。对于分层随机化，需先按关键维度（如新/老用户、国家）分层，再在层内独立随机分配。
3.2 样本量计算：从统计功效到实验规模
样本量不足会导致实验“假阴性”（无法检测到真实效果），样本量过大则浪费流量与时间。样本量计算依赖于四个参数：
| 参数 | 符号 | 典型值 | 说明 |
|---|---|---|---|
| 显著性水平 | α | 0.05 | 犯第一类错误（假阳性）的概率 |
| 统计功效 | 1-β | 0.80 | 正确检测到真实效应的概率 |
| 最小可检测效应 | δ (MDE) | 1% ~ 5% | 业务上值得检测的最小绝对/相对变化 |
| 基线转化率 | p₀ | 由历史数据估计 | 对照组当前指标水平 |
对于二值指标（如转化率），单组所需样本量近似公式为：
n = (Z_{1-α/2} + Z_{1-β})² × [p₀(1-p₀) + p₁(1-p₁)] / (p₁ - p₀)²
其中：
Z_{1-α/2} = 1.96（对应 α=0.05）
Z_{1-β} = 0.84（对应 功效=0.80）
p₁ = p₀ + δ（实验组预期转化率）
实用建议： 使用Python的
statsmodels.stats.power 模块或在线计算器。务必在实验开始前完成计算，并预留20%的余量应对用户流失或数据异常。
3.3 分流策略：用户级、会话级与事件级
分流粒度决定了实验单元的大小，直接影响随机化有效性与统计推断的准确性。选择不当会导致污染效应或单位选择偏差。
| 分流粒度 | 定义 | 适用场景 | 风险与注意事项 |
|---|---|---|---|
| 用户级 | 以用户ID为单元，同一用户始终在同一组 | UI改版、推荐算法、推送策略 | 用户跨设备行为可能不一致；需处理用户ID缺失 |
| 会话级 | 以用户每次访问会话为单元 | 页面布局测试、短期促销弹窗 | 同一用户多次访问可能进入不同组，造成体验割裂 |
| 事件级 | 以每次独立事件（如点击、请求）为单元 | 广告竞价策略、API响应格式 | 用户行为高度相关，违反独立性假设；慎用 |
常见陷阱： 事件级分流极易导致“同一用户在同一会话中看到混合策略”，不仅破坏用户体验，还会使统计检验的方差被严重低估。除非实验对象是完全无状态的系统调用，否则应优先选择用户级或会话级。
3.4 最小可检测效应（MDE）：业务价值与统计精度的平衡
MDE是实验设计中最具业务导向的参数。它表示在给定样本量和显著性水平下，实验能够以指定功效检测到的最小真实效应值。MDE越小，所需样本量越大。
MDE与样本量的关系（以二值指标为例）：
MDE ≈ (Z_{1-α/2} + Z_{1-β}) × sqrt( 2 × p₀(1-p₀) / n )
可见：样本量 n 翻4倍，MDE 约减半。
设定MDE时需回答：“多大的效果才值得投入工程资源去上线？” 例如，若改动成本高，MDE应设得较小（如0.5%），确保不遗漏微小但重要的提升；若改动成本低，可接受较大的MDE（如2%），快速迭代。
3.5 综合设计流程：从参数设定到实验启动
一个完整的A/B测试实验设计应遵循以下步骤：
- 明确业务目标与核心指标（如转化率、留存率、收入）。
- 确定最小可检测效应（MDE）：与产品、业务方对齐，基于ROI估算。
- 选择分流粒度：优先用户级，次选会话级，避免事件级。
- 计算所需样本量：使用公式或工具，并加入20%安全余量。
- 预估实验时长：样本量 ÷ 日均流量，确保覆盖完整业务周期（如包含周末）。
- 实施随机化分流：编写分流代码，进行AA测试验证随机性。
- 设置监控与止损规则：定义负向指标阈值，防止实验失控。
关键检查点： 在正式启动实验前，务必运行一次AA测试（两组均使用相同策略），验证两组指标差异是否在预期波动范围内。若AA测试频繁出现显著差异，说明随机化或分流逻辑存在系统偏差，需排查后再上线。