2. 前置条件检查清单
在将实验方案推向分流引擎之前，必须完成5项前置条件的系统性检查。任何一项不达标都将直接导致实验结论不可信，甚至产生错误的业务决策。本章提供完整的检查清单及对应处置标准。
核心原则：前置条件检查不是一次性动作，而是贯穿实验设计、开发、上线全周期的持续验证流程。
2.1 适用场景
本检查清单适用于以下所有A/B测试启动前的质量门禁阶段：
- 新产品功能灰度发布前的对比实验
- UI/UX改版方案的在线验证
- 算法模型（推荐、排序、定价）的线上效果比对
- 运营策略（文案、活动、推送时机）的效果测量
- 任何涉及对照组与实验组流量分配的随机化实验
2.2 前置条件
执行本检查清单前，需确保以下基础条件已就绪：
| 条件项 | 要求 |
|---|---|
| 实验方案文档 | 已明确实验假设、指标定义、变量设置、预期效应量 |
| 数据埋点方案 | 所有关键指标（核心指标、护栏指标）的埋点已设计并通过评审 |
| 系统环境 | 实验平台/分流服务可正常调用，灰度配置通道畅通 |
| 流量预算 | 日均活跃用户数（DAU）已知，可计算最小样本量 |
| 干系人确认 | 产品、研发、数据三方对实验方案已达成共识 |
2.3 操作步骤
按以下顺序逐一检查5项前置条件，每项检查通过后方可进入下一项：
- 实验设计生效性：验证实验方案是否具备统计学上的可检验性。检查点包括：假设是否可证伪、对照组与实验组是否唯一差异变量、是否存在干扰因素（时间效应、新奇效应、学习效应）。
- 样本量充足性：根据预期最小效应量（MDE）、显著性水平α=0.05、统计功效1-β=0.8，计算所需最小样本量。调用样本量计算公式或平台内置计算器。
- 运行时长合规性：确保实验运行周期至少覆盖一个完整的业务周期（如一周），且排除节假日、大型活动等异常窗口。
- 分流均匀性校验：在实验上线前进行空跑测试（不添加实验逻辑），验证对照组与实验组的关键基线指标（如DAU、活跃度）无显著差异。
- 数据埋点完整性：检查埋点上报延迟是否在可接受范围、字段是否完整、日志落盘是否无丢失、数据链路是否经过预校验。
实操建议：可以编写一个自动化检查脚本，将上述5项检查封装为可重复执行的校验管线，减少人为遗漏。
2.4 输入输出物
| 阶段 | 输入物 | 输出物 |
|---|---|---|
| 实验设计生效性 | 实验方案文档、假设陈述 | 设计生效性检查报告（通过/不通过及原因） |
| 样本量充足性 | DAU、预期MDE、α、1-β | 最小样本量值、建议运行时长 |
| 运行时长合规性 | 业务日历、MDE对应的最小天数 | 合规时长窗口表 |
| 分流均匀性校验 | 对照组/实验组基线数据集 | 均匀性检验报告（P值、效应量） |
| 数据埋点完整性 | 埋点Schema、抽样日志 | 埋点完整性校验清单（完成率、正确率） |
2.5 责任边界
| 角色 | 责任内容 |
|---|---|
| 数据科学家 | 负责实验设计生效性审核、样本量计算、均匀性校验方法设计 |
| 产品经理 | 提供实验方案、确认业务周期、协调干系人 |
| 研发工程师 | 搭建分流逻辑、数据埋点、处理异常流量 |
| 数据工程师 | 验证数据管道完整性、日志落盘质量 |
| QA测试 | 执行空跑测试、随机性校验、埋点验证 |
2.6 记录材料
每次前置条件检查均应生成结构化记录，建议使用以下模板：
实验ID: EXP-202411-001
检查日期: 2024-11-01
检查人员: [数据科学家姓名]
前置条件检查结果:
1. 实验设计生效性: [通过/不通过]
- 假设可证伪: 是
- 单变量差异: 是
- 干扰因素识别: 无
2. 样本量充足性: [通过/不通过]
- 所需最小样本: 500,000
- 实际可用流量: 1,200,000
- 结论: 充足
3. 运行时长合规性: [通过/不通过]
- 建议最少天数: 7 天
- 计划运行天数: 14 天
- 排除异常窗口: 已确认无
4. 分流均匀性校验: [通过/不通过]
- 校验指标: DAU、次日留存
- P值组间差异: 0.43, 0.51
- 结论: 无显著差异
5. 数据埋点完整性: [通过/不通过]
- 抽样日志完成率: 99.8%
- 字段正确率: 100%
- 延迟中位数: 2秒
最终结论: [全部通过 / 部分不通过，需修复项：___]2.7 异常处理
| 检查项 | 常见异常 | 处置方案 |
|---|---|---|
| 实验设计生效性 | 假设不可证伪（如“提升用户体验”） | 重新定义可量化、可观测的具体指标 |
| 样本量充足性 | 实际流量远低于最小需求量 | 降低MDE、延长运行时长、或放弃该实验 |
| 运行时长合规性 | 临近节假日无法覆盖完整周期 | 推迟实验开始时间，或选择无干扰窗口 |
| 分流均匀性校验 | 基线指标存在显著差异（P<0.05） | 检查分流算法是否存在bug；重新配置分流比例；延长空跑期 |
| 数据埋点完整性 | 日志上报延迟超过5分钟 | 优化数据管道；增加缓存机制；设置告警阈值 |
2.8 验收标准
前置条件检查清单的验收标准如下：
- 5项检查项均标注为“通过”，且记录材料完整可追溯
- 均匀性校验中，所有基线指标的组间对比P值均大于0.1
- 样本量实际值 ≥ 计算所需最小值的120%（预留安全边际）
- 埋点完整性校验完成率 ≥ 99.5%，延迟P95 < 10秒
- 实验设计生效性报告中，明确记录所有可能的干扰因素及应对策略
常见陷阱：不要混淆“样本量充足性”与“分流均匀性”。前者关注总量是否够用，后者关注分组是否随机。一个实验可能样本量充足但分组不均匀，导致严重偏差。
图2-1 前置条件检查与异常处理流程图