4. 实验设计原则：随机化、样本量计算、最小可检测效应、统计功效与显著性水平
在 Champion Challenger 评审中，实验设计是决定结论可信度的基石。一个设计不当的在线实验（A/B 测试）可能得出虚假的正向结论或遗漏真实的改进效果。本节围绕五个核心原则展开：随机化、样本量计算、最小可检测效应（MDE）、统计功效与显著性水平。
4.1 随机化：实验的黄金标准
随机化确保实验组（Challenger）与对照组（Champion）在除干预变量外的所有特征上具有可比性。没有随机化，任何观察到的差异都可能归因于混杂偏差。
- 单元随机化：以用户 ID、设备 ID 或会话为最小单元，随机分配至实验组或对照组。
- 分层随机化：在关键维度（如新/老用户、付费/免费用户）上先分层，再在层内随机，保证组间结构均衡。
- 时间随机化：适用于无法按用户分组的场景（如算法更新），按时间片交替切换版本。
避坑提示：避免“伪随机化”——例如按用户注册日期奇偶分组，或按地域简单轮换，这些方法极易引入系统性偏差。
4.2 显著性水平（α）与统计功效（1-β）
这两个参数是实验设计的“第一性原理”输入，必须在实验启动前设定。
| 参数 | 符号 | 定义 | 典型值 | 业务含义 |
|---|---|---|---|---|
| 显著性水平 | α | 当原假设为真时，错误拒绝它的概率（假阳性） | 0.05 | 每 20 次实验中，最多允许 1 次误报 |
| 统计功效 | 1-β | 当备择假设为真时，正确拒绝原假设的概率（真阳性） | 0.80 | 如果真实效果存在，有 80% 的概率能检测到 |
| 第二类错误率 | β | 当备择假设为真时，错误接受原假设的概率（假阴性） | 0.20 | 漏掉真实效果的容忍度 |
业务决策建议：在 Champion Challenger 评审中，如果 Challenger 涉及高成本或高风险变更（如支付流程、核心推荐算法），建议将 α 收紧至 0.01，并将功效提升至 0.90 以上，以降低误判风险。
4.3 最小可检测效应（MDE）与样本量计算
MDE 是指在给定 α、功效和样本量下，实验能够以统计显著性检测到的最小效果量。MDE 越小，实验越灵敏，但所需样本量越大。
样本量计算公式（两组独立比例检验近似）：
n = (Z_α/2 + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)] / (p₂ - p₁)²
其中：
Z_α/2 = 对应显著性水平 α 的双侧 Z 值（α=0.05 时 ≈ 1.96）
Z_β = 对应功效 1-β 的 Z 值（功效=0.80 时 ≈ 0.84）
p₁ = 对照组（Champion）预期转化率
p₂ = 实验组（Challenger）预期转化率
(p₂ - p₁) = 绝对 MDE
常见误区：不要等到实验结束后才计算功效。实验前必须根据业务可接受的最小提升幅度（MDE）反推所需样本量，否则可能因样本不足而得出“无显著差异”的错误结论。
4.4 实验设计流程总览
以下 SVG 图展示了从业务目标到实验启动的完整设计链路，强调参数之间的依赖关系。
4.5 参数选择速查表
以下表格帮助你在不同业务场景下快速选择实验参数组合：
| 业务场景 | 推荐 α | 推荐功效 | 典型 MDE（相对提升） | 样本量需求 |
|---|---|---|---|---|
| UI 文案/颜色微调 | 0.05 | 0.80 | 5% - 10% | 中等 |
| 推荐算法大版本升级 | 0.01 | 0.90 | 1% - 3% | 高 |
| 支付流程/风控策略 | 0.005 | 0.95 | 0.5% - 1% | 极高 |
| 运营活动短期效果 | 0.10 | 0.70 | 10% - 20% | 低 |
4.6 样本量计算实战示例
假设当前 Champion 的点击率（CTR）为 8.0%，业务要求 Challenger 至少提升 1 个百分点（绝对 MDE = 1%），设定 α=0.05，功效=0.80：
p₁ = 0.080, p₂ = 0.090
Z_α/2 = 1.96, Z_β = 0.84
n = (1.96 + 0.84)² × [0.08×0.92 + 0.09×0.91] / (0.01)²
= (2.80)² × [0.0736 + 0.0819] / 0.0001
= 7.84 × 0.1555 / 0.0001
= 7.84 × 1555
≈ 12,191 (每组所需样本量)
总样本量 = 12,191 × 2 = 24,382
工程化建议：在生产环境中，建议使用成熟的统计库（如 Python 的
statsmodels.stats.power 或 R 的 pwr 包）进行计算，并预留 10%-20% 的样本量余量以应对用户流失或数据清洗。
4.7 随机化与样本量分配策略对比
不同的分配策略会影响实验的统计灵敏度和执行成本：
| 分配策略 | 适用场景 | 优点 | 缺点 |
|---|---|---|---|
| 等比例分配（50/50） | 高流量、低风险实验 | 统计功效最大化 | 流量浪费，对照组过大 |
| 非对称分配（90/10） | 低流量、高风险实验 | 减少 Challenger 暴露风险 | 功效降低，需要更长时间 |
| 动态分配（Multi-Armed Bandit） | 多版本快速探索 | 样本利用率高，减少损失 | 统计推断复杂，需校正 |
在 Champion Challenger 评审中，等比例分配是最稳健的默认选择。只有当 Challenger 存在明确的业务风险（如影响收入或用户体验）时，才考虑非对称分配。