3. 实验设计原则：随机化、对照、重复、区组设计、样本量估算的基本公式与影响因素
在 Champion Challenger 模型 A/B 测试中，实验设计的质量直接决定了结论的可靠性与可复现性。本章围绕五个核心设计原则展开：随机化、对照、重复、区组设计以及样本量估算。掌握这些原则，能帮助你避免常见的统计陷阱，构建出经得起推敲的对比实验。
3.1 随机化：消除选择偏差的基石
随机化是指将实验单元（用户、会话、请求）以纯随机方式分配到 Champion 组或 Challenger 组。其核心目的是使两组在实验开始前，在所有已知和未知的混淆变量上达到统计平衡。
- 避免选择偏差：防止因人为或系统性的分组偏好导致结果失真。
- 保证统计推断有效：大多数显著性检验（如 t 检验、卡方检验）都假设数据来自随机样本。
- 实现方式：使用哈希取模、随机数生成器或分层随机抽样。
3.2 对照：建立比较基准
对照原则要求必须设置一个不施加实验处理的基准组（Champion 组），用于与实验组（Challenger 组）进行对比。没有对照，就无法分离出模型变更带来的真实效果。
| 对照类型 | 说明 | 适用场景 |
|---|---|---|
| 同期对照 | 实验组与对照组在同一时间段内并行运行 | 线上 A/B 测试、模型效果对比 |
| 历史对照 | 使用实验前的历史数据作为基准 | 无法并行实验的离线评估 |
| 空白对照 | 不应用任何模型，使用默认规则 | 评估模型相对于基线规则的增量价值 |
3.3 重复：确保结果可复现
重复原则要求实验有足够的样本量或重复次数，使得随机误差可以被估计，从而判断观察到的差异是否具有统计显著性。在 A/B 测试中，“重复”通常体现为每个实验组中包含足够多的独立用户或独立实验单元。
- 减少偶然性：单次或少量的观测结果可能由随机波动主导。
- 估计方差：只有重复才能计算组内变异，进而计算标准误和置信区间。
- 提升统计功效：重复次数越多，越容易检测出真实存在的微小差异。
3.4 区组设计：控制已知干扰因素
区组设计是将实验单元按某个已知的、可能影响结果的特征（如用户活跃度、设备类型、地域）划分为若干同质区块，然后在每个区块内独立进行随机化分配。这能有效降低组间变异，提高实验灵敏度。
3.5 样本量估算：基本公式与影响因素
样本量估算是实验设计的关键步骤。样本量过小会导致统计功效不足，无法检测出真实差异；样本量过大会浪费计算资源和时间。以下是基于两独立样本均值比较的基本公式。
3.5.1 基本公式
对于两样本均值比较的 t 检验，每组所需样本量 n 的近似公式为：
n = (Z_α/2 + Z_β)² × (σ₁² + σ₂²) / δ²
其中：
- Z_α/2：显著性水平 α 对应的双侧临界值（α=0.05 时，Z≈1.96）
- Z_β：检验功效 1-β 对应的单侧临界值（β=0.20 时，Z≈0.84）
- σ₁²、σ₂²：两组的总体方差（通常假设相等，σ²）
- δ：最小可检测效应量（Minimum Detectable Effect, MDE）3.5.2 影响因素
| 因素 | 变化方向 | 对样本量的影响 | 说明 |
|---|---|---|---|
| 显著性水平 α | α 减小（如 0.05 → 0.01） | 样本量增大 | 要求更严格的显著性，需要更多证据 |
| 检验功效 1-β | 功效增大（如 0.80 → 0.95） | 样本量增大 | 降低假阴性风险，需要更多样本 |
| 效应量 δ | δ 减小（如 1% → 0.5%） | 样本量急剧增大 | 检测微小差异需要大量样本 |
| 数据方差 σ² | 方差增大 | 样本量增大 | 数据噪声越大，越难检测信号 |
| 分配比例 | 比例偏离 1:1 | 总样本量增大 | 非均衡设计需要更多总样本 |
3.5.3 实战估算示例
假设我们要检测 Challenger 模型是否将点击率（CTR）从 5.0% 提升到 5.5%（δ=0.5 个百分点），历史数据估计方差 σ²≈0.05，设定 α=0.05，功效=0.80：
n = (1.96 + 0.84)² × (0.05 + 0.05) / (0.005)²
= (2.80)² × 0.10 / 0.000025
= 7.84 × 0.10 / 0.000025
= 0.784 / 0.000025
= 31,360
每组需要约 31,360 个样本，总样本量约 62,720。3.6 样本量估算影响因素的可视化
下图展示了在固定显著性水平（α=0.05）和功效（0.80）下，不同效应量和方差对所需样本量的影响趋势。
3.7 综合应用建议
在实际的 Champion Challenger 实验中，建议按以下步骤整合上述原则：
- 明确核心指标：确定主要评估指标（如 CTR、转化率、收入），并获取其历史方差估计。
- 设定实验参数：确定 α（通常 0.05）、功效（通常 0.80）和最小可检测效应量（MDE）。
- 估算样本量：使用公式或工具计算每组所需样本量，并评估流量是否充足。
- 设计分组方案：采用随机化分配，必要时引入区组设计控制强干扰因素。
- 设置对照组：确保 Champion 组与 Challenger 组同期并行运行。
- 确定实验时长：在满足样本量要求的基础上，覆盖至少一个完整的业务周期（如一周），避免星期效应。