第2章 前置条件检查：实验设计完整性、样本量验证、随机性校验

适用场景

• 实验上线前质量门禁：任何A/B测试在分配流量之前，必须完成三项前置检查，未通过不得开闸。
• 多团队协作实验审计：当产品、算法、运营等多方共同参与实验设计时，前置检查作为统一验收标准，消除认知偏差。
• 实验复盘与迭代：历史实验被质疑结论可靠性时，可通过追溯前置检查记录判断是否因条件不满足导致误判。

前置条件

执行本章检查前，需确认以下输入工件已就绪：

1. 实验设计方案文档（含假设、变量定义、指标体系、分桶方案）。
2. 分桶配置表（实验组/对照组编号、流量比例、层域设置）。
3. 近7日全量流量日志（用于随机性校验的历史基线）。
4. 最小效应量（MDE）声明（由需求方与数据科学家共同确认）。

操作步骤

本章检查流程按串行门禁方式执行，前一项未通过则终止后续检查。具体分为三个子步骤：

1. 步骤一：实验设计完整性检查

   对照检查清单逐项核验实验设计文档，确保无缺失项。核验维度包括：

   • 假设清晰度：是否明确写出原假设 H₀ 与备择假设 H₁，且指标可量化。
   • 变量定义：自变量（干预措施）与因变量（核心指标）是否操作化定义，避免歧义。
   • 对照组设置：是否存在合理对照组（如空跑组、旧策略组），且与实验组仅一个变量不同。
   • 实验周期：是否明确开始/结束时间，且覆盖完整业务周期（含周末/月末）。
   • 分流方案：分桶算法、层域策略、流量比例是否记录。

   输出物：实验设计完整性检查清单（通过/不通过 + 缺失项记录）。

2. 步骤二：样本量验证

   基于历史基期指标与声明的最小效应量，使用独立双样本 z 检验公式计算所需最小样本量：

   n = (Z_α/2 + Z_β)² × [p₁×(1-p₁) + p₀×(1-p₀)] / (p₁ - p₀)²
   
   参数说明：
     Z_α/2   = 显著性水平 α=0.05 对应的双尾临界值（1.96）
     Z_β     = 统计功效 1-β=0.80 对应的临界值（0.84）
     p₀      = 对照组基线转化率（来自历史数据）
     p₁      = 实验组预期转化率（p₀ × (1 + MDE)）
     n       = 每组所需最小样本量

   将计算结果与实验计划流量进行对比：

   • 若计划流量 ≥ 2×n（两个组），则通过；
   • 否则，需延长实验周期或重新协商 MDE。

   输出物：样本量计算表（含参数取值、计算结果、通过/不通过结论）。

3. 步骤三：随机性校验

   利用实验上线前的历史流量日志，对实验组与对照组在核心前协变量（如用户活跃度、历史转化率、设备分布）上进行均衡性检验：

   • 连续变量：使用双样本 t 检验或 Kolmogorov-Smirnov 检验；
   • 分类变量：使用卡方检验。

   检验通过标准：所有协变量的 p-value > 0.05，且标准化均值差异（SMD）< 0.1。

   示例 R 代码片段（校验用户历史活跃度）：
   t.test(activity ~ group, data = pre_period_log)$p.value
   # 输出：0.372 → p > 0.05，通过随机性校验

   输出物：随机性校验报告（含各协变量 p-value 与 SMD 表、通过/不通过结论）。

输入输出物

责任边界

记录材料

每次前置检查完成后，需归档以下三类记录，保存至实验复盘结束：

• 实验设计完整性检查清单（含逐项打勾记录与缺失项截图）。
• 样本量计算表（含参数取值、计算公式、计算过程截图）。
• 随机性校验报告（含协变量列表、p-value 与 SMD 值、通过/不通过结论）。

异常处理

验收标准

本章三项前置检查全部通过后，方可进入实验上线流程。具体验收标准如下：

• 设计完整性：检查清单所有项均为“通过”，无任何缺失或模糊项。
• 样本量验证：计划样本量 ≥ 最小需求样本量，且实验组与对照组均满足该要求。
• 随机性校验：所有前协变量的 p-value > 0.05 且 SMD < 0.1，无显著分组差异。
• 文档归档：三项记录材料完整、可审计，且经数据科学家签字确认。