实验设计原则：随机化、对照、重复与区组设计在模型实验中的应用
A/B 测试的本质是受控实验。在模型效果评估中，若实验设计存在系统性偏差，再先进的统计方法也无法挽救结论的有效性。本节围绕四个核心原则——随机化、对照、重复、区组设计，阐述它们在模型实验中的具体落地方式。
1. 随机化原则：消除选择偏差的基石
随机化是指将实验单元（用户、样本、请求）以纯随机方式分配到实验组与对照组。其核心目标是使两组在所有已知和未知的混杂因素上达到统计均衡。
模型实验中的典型应用：
• 用户级随机：按 user_id 哈希分桶，确保同一用户始终进入同一组。
• 请求级随机：适用于无状态模型（如 NLP 推理），每次请求独立随机。
• 样本级随机：离线评估时，对数据集进行随机拆分（训练/验证/测试）。
• 用户级随机：按 user_id 哈希分桶，确保同一用户始终进入同一组。
• 请求级随机：适用于无状态模型（如 NLP 推理），每次请求独立随机。
• 样本级随机：离线评估时，对数据集进行随机拆分（训练/验证/测试）。
避坑提示：切勿使用“按时间切片”或“按地域”等非随机方式替代随机化。时间效应（如白天/夜间流量差异）会严重污染实验结果。
2. 对照原则：回答“如果不做会怎样”
没有对照，就无法分离模型效果与自然波动。对照组的设置必须满足同期性和可比性。
| 对照组类型 | 适用场景 | 注意事项 |
|---|---|---|
| 空白对照 | 新模型上线，对比旧模型或基线规则 | 确保对照组未受任何实验干预 |
| 安慰剂对照 | UI/UX 变化伴随模型升级 | 控制“新鲜感效应” |
| 互斥对照 | 多模型并行实验 | 避免流量重叠导致污染 |
3. 重复原则：用样本量换取统计置信
重复是指对同一实验条件进行多次独立观测，以估计随机误差。在模型实验中，重复体现为足够的样本量和足够的实验周期。
- 样本量计算：基于预期效应量（Effect Size）、显著性水平 α（通常 0.05）、统计功效 1-β（通常 0.8），使用公式或工具（如 Statsmodels）估算最小样本量。
- 周期重复：至少覆盖一个完整的业务周期（如 7 天），避免星期效应或节假日效应。
- 交叉验证：离线评估中，使用 K-Fold 重复实验，取均值与方差。
常见误区：样本量不足时，即使 p < 0.05，结果也可能不可靠。务必在实验前完成功效分析（Power Analysis）。
4. 区组设计：控制已知干扰变量
当存在已知且可测量的干扰变量（如用户活跃度、设备类型、地域）时，区组设计可将实验单元先分层再随机，从而降低组间方差，提升灵敏度。
区组设计优势：当干扰变量对指标影响较大时（如高活跃用户 CTR 显著高于低活跃用户），区组设计可将组内方差降低 30%~50%，从而用更少的样本量检测出相同效应。
5. 四原则协同：模型实验设计检查清单
| 原则 | 检查项 | 常见违规 |
|---|---|---|
| 随机化 | 分桶是否基于纯随机哈希？是否验证了组间协变量均衡？ | 按时间/地域非随机分桶 |
| 对照 | 对照组是否同期运行？是否受到其他实验干扰？ | 使用历史数据作为对照 |
| 重复 | 样本量是否满足功效分析？实验周期是否覆盖完整业务周期？ | 样本量不足即下结论 |
| 区组设计 | 是否识别了主要干扰变量？层内样本是否足够？ | 过度分层导致层内样本稀疏 |
实践建议：在模型 A/B 测试的规划阶段，先绘制“实验设计四象限图”：横轴为随机化程度（高/低），纵轴为区组粒度（粗/细）。理想实验应落在“高随机化 + 适当区组”的右上象限。