实验设计原则：随机化、样本量计算、最小可检测效应、统计功效与显著性水平

在 Champion Challenger 实验中，实验设计是决定结论可信度的核心环节。一个设计不当的 A/B 测试，即使运行了数周，也可能得出误导性结论。本章聚焦于实验设计的四大支柱：随机化、样本量计算、最小可检测效应（MDE）以及统计功效与显著性水平。掌握这些原则，能确保你的实验在资源有限的情况下，以最高的概率检测到真实的业务提升。

1. 随机化：实验的基石

随机化是实验设计的黄金标准。它的核心目的是消除选择偏差，确保实验组（Champion）和对照组（Challenger）在实验开始前，除了待测试的干预措施外，在所有可观测和不可观测的特征上都是统计上等价的。

• 为什么重要： 没有随机化，你无法区分观察到的效果是由你的改动引起的，还是由两组用户本身的固有差异引起的。
• 常见陷阱：
  • 时间片轮换： 上午给用户看 A 版本，下午看 B 版本。用户行为在一天内可能有显著差异（如上班族 vs 夜猫子）。
  • 基于用户 ID 奇偶分配： 如果用户 ID 的注册时间与用户行为相关，这种分配会引入系统性偏差。
  • 非均匀分流： 实验平台在分流时，由于缓存或负载均衡问题，导致流量分配不均。
• 最佳实践： 使用加密哈希函数（如 MurmurHash）对用户 ID 进行分桶，确保每次实验的分配是确定且均匀的。在实验开始前，进行 A/A 测试（两组均无干预），验证分流系统在关键指标上无显著差异。

2. 统计功效与显著性水平

这两个参数共同定义了实验的“犯错容忍度”。它们是样本量计算的前提。

3. 最小可检测效应（MDE）

MDE 是指在给定的显著性水平（α）和统计功效（1-β）下，实验能够检测到的最小真实效果大小。它直接决定了你需要多少样本量。

• 定义： MDE 越小，实验越灵敏，但需要的样本量也越大。
• 业务决策： MDE 不应由统计公式单独决定，而应由业务方和产品经理共同确定。例如：“我们只关心能提升转化率 1% 以上的改动，低于这个阈值的提升，即使统计显著，也不值得投入工程资源去上线。”
• 与样本量的关系： 样本量（N）与 MDE 的平方成反比。如果你想将 MDE 减半，样本量需要变为原来的 4 倍。

# Python 示例：使用 statsmodels 计算给定参数下的 MDE
import statsmodels.stats.api as sms

# 假设：基线转化率 10%，显著性水平 0.05，功效 0.80，每组样本量 10000
effect_size = sms.proportion_effectsize(0.10, 0.11) # 假设我们想检测 1% 的绝对提升
# 计算所需样本量
sample_size = sms.NormalIndPower().solve_power(
    effect_size=effect_size,
    power=0.80,
    alpha=0.05,
    ratio=1.0
)
print(f"检测 1% 绝对提升所需每组样本量: {sample_size:.0f}")

# 反过来，给定样本量，计算 MDE
# 这里我们使用一个简化的公式近似
import numpy as np
from scipy import stats

def calculate_mde(baseline_rate, sample_size_per_group, alpha=0.05, power=0.80):
    z_alpha = stats.norm.ppf(1 - alpha / 2)
    z_beta = stats.norm.ppf(power)
    # 近似公式：MDE ≈ (z_alpha + z_beta) * sqrt( 2 * baseline_rate * (1 - baseline_rate) / n )
    mde = (z_alpha + z_beta) * np.sqrt(2 * baseline_rate * (1 - baseline_rate) / sample_size_per_group)
    return mde

mde = calculate_mde(0.10, 10000)
print(f"在每组 10000 样本下，可检测的最小绝对提升约为: {mde:.4f} ({mde*100:.2f}%)")

4. 样本量计算：将理论付诸实践

样本量计算是连接上述所有概念的桥梁。它回答了“我们需要多少用户才能做出可靠的决策？”

计算样本量需要四个输入：

1. 基线转化率（Baseline Rate）： 对照组（Champion）的当前指标值。
2. 最小可检测效应（MDE）： 你希望检测到的最小绝对或相对提升。
3. 显著性水平（α）： 通常为 0.05。
4. 统计功效（1-β）： 通常为 0.80。

下面的 SVG 图展示了样本量、MDE、功效和显著性水平之间的动态关系。

5. 实战流程：从参数设定到实验启动

以下是一个标准化的实验设计流程，确保你在启动实验前，所有参数都已对齐。

1. 确定核心指标： 选择单一的主要指标（如转化率、留存率），避免多重比较带来的 I 类错误膨胀。
2. 获取基线数据： 从历史数据中获取该指标的稳定均值（如过去 4 周的日均转化率）。
3. 业务对齐 MDE： 与业务方开会，确定“值得上线”的最小提升幅度。例如：“我们只关心相对提升 5% 以上的改动。”
4. 设定统计参数： 默认 α=0.05，功效=0.80。对于高风险实验（如全量上线），可提高功效至 0.90 或降低 α 至 0.01。
5. 计算样本量： 使用公式或工具（如 statsmodels、Evan Miller 的样本量计算器）计算所需样本量。
6. 评估实验时长： 样本量 / 日均流量 = 所需天数。确保实验至少运行 7 天，以覆盖完整的周周期效应。
7. 执行 A/A 测试： 在正式实验前，运行 1-2 天的 A/A 测试，验证分流均匀性和指标稳定性。

6. 常见陷阱与避坑指南

下面的 SVG 图总结了实验设计的完整决策流程，帮助你从业务问题出发，一步步推导出可靠的实验方案。