第2章 前置条件梳理
适用场景
本流程适用于以下场景：
- 准备开展任意形式的对照实验（A/B测试、多变量测试）前，需要预先估算最小样本量。
- 实验设计阶段，业务方或数据科学家需要统一对齐关键参数，避免因参数遗漏导致无效实验。
- 需要将样本量估算结果写入实验设计文档（EDD）或实验注册表时。
前置条件
在执行本流程前，需确保已完成以下工作：
- 实验目标已转化为明确的业务假设（如“新推荐算法能提升点击率2个百分点”）。
- 已有至少一轮初步数据探索（如历史均值、标准差、基线转化率）。
- 业务方与数据团队已就“可接受的最小收益”达成初步共识。
操作步骤
以下步骤按顺序执行，每步产出将作为下一输入。
步骤1：明确实验假设（H₀ / H₁）
- 零假设（H₀）：实验组与对照组无差异（如：新算法不会改变点击率）。
- 备择假设（H₁）：存在有方向性的差异（双尾或单尾）。
- 记录假设的符号化表达，例如：H₀: μnew = μold vs H₁: μnew ≠ μold。
步骤2：定义指标类型（均值 / 比率）
- 均值型指标：连续数值（如平均停留时长、订单金额）。需预估总体标准差σ。
- 比率型指标：二值型（如点击率、转化率）。需预估基线转化率p₀。
- 注意：指标类型直接决定后续效应量计算公式的选择。
常见混淆点：收入金额若存在大量零值，通常视为“零膨胀连续变量”，应使用比率型+均值型组合测算，而非简单均值。
步骤3：确定最小效应量（MDE, Minimum Detectable Effect）
- MDE是业务上认为有意义的最小绝对或相对变化。
- 例如：转化率从10%提升到11%，绝对MDE=1个百分点；相对MDE=10%。
- MDE过小会要求超大样本量（成本不可接受）；MDE过大会导致实验无法捕捉有价值的效果。
避坑提示：MDE应基于业务成本-收益分析确定，而非从历史数据中“反推”。避免使用pilot实验得到的最小差异作为MDE。
步骤4：设定显著性水平α
- α是犯第一类错误（假阳性）的概率，通常取0.05或0.01。
- 涉及多重比较时需校正（如Bonferroni）。
- α越小，所需样本量越大。
步骤5：设定统计功效 1−β
- 功效是当真实效应等于MDE时，正确拒绝H₀的概率。
- 常用标准：0.80（80%）或0.90（90%）。
- 功效越高，所需样本量越大。
参数常规取值速查：
α = 0.05（双尾）
1−β = 0.80
MDE（相对）= 10% ~ 20%（视指标敏感性）
均值型需额外输入：标准差σ（可通过历史数据或 pilot 估算）输入输出物
| 步骤 | 输入 | 输出 |
|---|---|---|
| 步骤1 | 业务目标描述 | 符号化假设对 |
| 步骤2 | 初步数据探索报告 | 指标类型+基线参数 |
| 步骤3 | 业务成本-收益分析 | MDE数值（绝对或相对） |
| 步骤4 | 组织内部惯例/行业标准 | α值 |
| 步骤5 | 可接受假阴性风险 | 1−β值 |
责任边界
- 数据科学家：负责验证参数合理性（如标准差估算方法、MDE是否与业务目标一致）。
- 产品经理/业务方：提供MDE的业务阈值，并最终确认α和1−β的行业惯例。
- QA/实验管理员：核对所有参数是否已记录到实验设计文档。
记录材料
每次实验需填写《前置条件检查表》，内容至少包含：
- 假设对文字描述
- 指标类型及对应基线值（均值或比率）
- MDE数值及计算依据
- α、1−β以及是否为双尾/单尾
- 责任人签名与确认日期
异常处理
- 情景A – 缺乏历史数据估算标准差/基线。 解决方案：运行小规模pilot实验（5%～10%预估总样本）获取粗估参数，再重新执行本流程。
- 情景B – 业务方与数据团队对MDE产生分歧。 解决方案：绘制“功效-样本量曲线”展示不同MDE下的成本变化，以数据驱动共识。
- 情景C – 实验涉及多个核心指标（多重比较）。 解决方案：将α按指标数进行Bonferroni校正（如α′=α/k），或采用FDR控制方法。
验收标准
本环节完成验收需满足：
- 所有5项前置参数（假设、指标类型、MDE、α、1−β）已明确定义且数值一致。
- 参数值已完整录入《前置条件检查表》并经过双方签字。
- 若使用pilot估算参数，pilot数据及计算过程已附在记录材料中。
- 无未解决的参数分歧（异常情形已按对应方案处理）。