3. 实验设计原则：随机化、对照、重复与样本量估算
可靠的 A/B 测试与额度效果评估，其结论的有效性建立在严谨的实验设计之上。本章将深入剖析支撑实验科学性的四大核心原则：随机化、对照、重复，以及用于确定实验规模的样本量估算（功效分析）。理解并应用这些原则，是避免“假阳性”与“假阴性”结论、确保资源投入产生真实业务增长的关键。
3.1 随机化原则：消除选择偏差的基石
随机化是指将实验单元（用户、店铺、订单等）以纯随机的方式分配到实验组（Treatment）和对照组（Control）的过程。其核心目标是确保两组在实验开始前，在所有已知和未知的混淆变量（Confounders）上具有可比性。
- 目的：消除选择偏差（Selection Bias），避免因分组方式导致的系统性差异。
- 实现方式：使用伪随机数生成器（如 Python 的
random模块或numpy.random）进行分配。 - 常见陷阱：按用户 ID 奇偶性分组（易被操纵）、按时间先后分组（受时间效应影响）。
3.2 对照原则：构建反事实框架
对照原则要求设立一个与实验组同时运行、除干预变量外其他条件完全一致的组别。对照组提供了“如果不施加干预，结果会怎样”的反事实（Counterfactual）基准。
| 对比维度 | 实验组（Treatment） | 对照组（Control） |
|---|---|---|
| 干预 | 施加（如：展示新额度、新功能） | 不施加（如：保持原额度、原界面） |
| 时间窗口 | 实验期间 | 实验期间（同期） |
| 用户特征 | 通过随机化保证分布一致 | 通过随机化保证分布一致 |
| 衡量指标 | 实验组指标值（如：转化率 5.2%） | 对照组指标值（如：转化率 4.5%） |
3.3 重复原则：提升结论的可靠性
重复原则包含两层含义：一是样本重复，即每个实验组内包含足够多的实验单元；二是实验重复，即在不同的时间、地点或人群上复现实验。在 A/B 测试语境下，我们主要关注前者——通过增加样本量来降低随机误差，使观测到的差异更接近真实效果。
- 样本重复：每个组内的单个用户或订单即为一次重复。重复次数越多，样本均值越趋近于总体均值（大数定律）。
- 实验重复：在多个市场或时间段重复同一实验，可以验证效果的稳健性，排除一次性偶然事件的影响。
3.4 样本量估算（功效分析）的基本概念
样本量估算（Sample Size Estimation）或功效分析（Power Analysis），是在实验开始前，基于统计原理计算所需最小样本量的过程。它回答了“我需要多少用户才能可靠地检测到某个大小的效果？”这一问题。
功效分析涉及四个核心参数，它们相互制约，已知其中三个可推算第四个：
| 参数 | 符号 | 定义 | 典型值 |
|---|---|---|---|
| 显著性水平 | α (Alpha) | 犯第一类错误（假阳性，即无效果却判断为有效果）的概率。 | 0.05 |
| 统计功效 | 1 - β | 正确拒绝原假设的概率，即当真实效果存在时，实验能检测出该效果的概率。 | 0.80 |
| 效应量 | δ (Delta) | 你希望检测到的最小实际效果大小（如：转化率提升 1 个百分点）。 | 由业务目标决定 |
| 样本量 | n | 每组所需的实验单元数量。 | 待计算 |
下面通过一个内联 SVG 流程图，直观展示样本量估算的决策逻辑与参数关系：
在实际业务中，我们通常先设定 α（0.05）和功效（0.80），然后根据业务预期的最小提升效果（效应量）来反推所需样本量。常用的计算工具有 Python 的 statsmodels 库和 R 语言的 pwr 包。
下面是一个使用 Python 进行两组比例检验（如转化率）功效分析的示例代码：
import statsmodels.stats.api as sms
# 参数设定
effect_size = sms.proportion_effectsize(prop1=0.10, prop2=0.12) # 从 10% 提升到 12%
alpha = 0.05
power = 0.80
# 计算样本量
sample_size = sms.NormalIndPower().solve_power(
effect_size=effect_size,
nobs1=None, # 待求解
alpha=alpha,
power=power,
ratio=1.0, # 实验组与对照组 1:1
alternative='two-sided'
)
print(f"每组所需最小样本量: {int(round(sample_size))}")3.5 四大原则的协同关系
随机化、对照、重复和样本量估算并非孤立存在，它们共同构成了一个完整的实验设计框架：
- 随机化 保证了 对照 的有效性，使两组在实验前可比。
- 重复（足够的样本量）是 随机化 发挥作用的基础，样本量过小则随机化难以平衡混杂因素。
- 样本量估算 量化了 重复 的程度，确保实验有足够的统计功效。
- 缺少任何一环，实验结论都可能产生偏差或不可靠。
下图总结了这四大原则在实验设计中的逻辑闭环：