4. 实验设计原则：随机化原则、样本量计算、统计功效与显著性水平设定
在特征回放对比的 A/B 测试中，实验设计的质量直接决定结论的可靠性。本章聚焦四个核心设计原则：随机化、样本量计算、统计功效与显著性水平。这些原则共同构成了实验的“防偏误护栏”与“精度标尺”。
4.1 随机化原则：消除选择偏差的基石
随机化是指将实验单元（用户、设备或会话）以纯概率方式分配到对照组与实验组。其核心目标是使两组在实验开始前，除特征回放策略外，所有可观测与不可观测的协变量分布趋于一致。
关键要点： 随机化不是“随意分配”，而是必须使用可靠的随机数生成器（如 Mersenne Twister 或加密级随机源），并确保分配过程不可被预测或篡改。
随机化常见方案对比
| 方案 | 适用场景 | 优点 | 风险 |
|---|---|---|---|
| 完全随机化 | 用户量级大、无分层需求 | 实现简单，理论无偏 | 小样本下组间协变量可能失衡 |
| 分层随机化 | 已知强影响因子（如用户等级、设备类型） | 降低组间差异，提升灵敏度 | 分层变量选择不当会引入额外偏差 |
| 区组随机化 | 时间效应明显（如日/周周期） | 控制时间混杂，适合回放节奏实验 | 区组大小需固定，灵活性较低 |
实践建议： 特征回放对比实验通常采用“用户 ID 哈希 + 分层随机化”。例如，按用户历史活跃度分层后，再对每层内用户进行哈希取模分配，可有效平衡新老用户比例。
4.2 样本量计算：实验精度的数学保障
样本量不足会导致实验无法检测到真实存在的差异（假阴性）；样本量过大则浪费流量与时间。样本量计算需明确以下参数：
- 基线转化率（p₀）：对照组当前指标值。
- 最小可检测效应量（MDE）：你希望检测到的最小绝对或相对变化。
- 显著性水平（α）：通常设为 0.05。
- 统计功效（1-β）：通常设为 0.80 或 0.90。
常用公式（双比例 Z 检验）
n = ( (Z_α/2 + Z_β)² × (p₀(1-p₀) + p₁(1-p₁)) ) / (p₁ - p₀)²
其中：
p₁ = p₀ × (1 + MDE)
Z_α/2 = 1.96（α=0.05 时）
Z_β = 0.84（功效=0.80 时）
常见误区： 不要直接套用“全量用户”作为样本量。特征回放实验常涉及“回放触发率”这一中间指标，其基线可能很低（如 1%），此时所需样本量会急剧增大。务必基于实际指标计算。
4.3 统计功效与显著性水平设定
这两个参数共同决定了实验的“灵敏度”与“误报率”：
- 显著性水平（α）：当实验组与对照组实际无差异时，错误地拒绝原假设的概率。α 越小，对“假阳性”越严格。
- 统计功效（1-β）：当实验组与对照组实际存在差异时，正确拒绝原假设的概率。功效越高，越不容易漏掉真实效果。
参数设定对照表
| 场景 | 推荐 α | 推荐功效 | 说明 |
|---|---|---|---|
| 核心业务指标（如收入、留存） | 0.01 | 0.90 | 假阳性代价高，需高置信度 |
| 体验类指标（如加载时长） | 0.05 | 0.80 | 行业标准，平衡成本与精度 |
| 探索性指标（如新功能点击） | 0.10 | 0.70 | 允许一定误报，快速筛选方向 |
核心关系： 在固定样本量下，α 与功效呈反向关系。降低 α 会减少假阳性，但会降低功效（增加假阴性风险）。实验设计时需根据业务容忍度权衡。
4.4 实验设计原则整体流程
下图展示了从随机化到样本量计算、再到功效与显著性设定的完整设计链路：
4.5 特征回放实验的特殊考量
特征回放对比实验在应用上述原则时，需额外注意：
- 回放触发率作为中间指标：样本量计算时需同时考虑“回放触发率”与“最终业务指标”，避免因触发率过低导致功效不足。
- 时间窗口效应：回放策略的效果可能随时间衰减或增强，建议在随机化时加入时间区组，并确保实验周期覆盖完整业务周期。
- 用户重复回放：若同一用户可能多次触发回放，需在随机化层级上明确是以“用户”还是“会话”为单元，避免单位分析错误。
快速检查清单：
✅ 随机化方案是否可复现？
✅ 样本量计算是否基于实际基线与 MDE？
✅ α 与功效设定是否与业务风险匹配？
✅ 是否考虑了回放触发率的特殊性？
✅ 随机化方案是否可复现？
✅ 样本量计算是否基于实际基线与 MDE？
✅ α 与功效设定是否与业务风险匹配？
✅ 是否考虑了回放触发率的特殊性？