第3章 前置条件清单

在启动 A/B 测试驱动的需求优先级排序之前，必须确认四个核心前置条件均已就绪。任何一项缺失都可能导致实验结论不可信或决策偏差。本章详细列出每一项前置条件的具体要求、验证方法和责任归属。

3.1 适用场景

本章清单适用于所有计划使用 A/B 测试进行需求优先级评定的产品团队、增长团队和数据驱动决策小组。当团队准备将某个需求排入实验管道时，应首先对照本清单完成环境与资源配置。

3.2 前置条件清单总览

序号 前置条件 核心要求 验证手段
1 实验平台就绪 支持分流、埋点、实时监控、结果计算 测试实验运行一次全流程（分流→记录→报表）
2 样本量预估工具 能基于基线转化率、最小可检测效应、统计功效计算所需样本量 输入历史数据输出预估数，与行业公式结果偏差 <5%
3 指标定义基线 每个核心指标有明确的计算公式、数据源、统计口径、历史均值 指标库文档齐全，与数据仓库 SQL 一致
4 用户分组机制 稳定、均匀、可重复的用户随机分组，支持 AA 测试验证 AA 测试 100 次中假阳性率 <5%

3.3 操作步骤

  1. 检查实验平台就绪状态
    • 确认实验平台（如自建平台/LaunchDarkly/Google Optimize）已开通项目权限。
    • 运行一次空实验（无任何代码改动），确保分流、事件上报、指标计算管道正常。
    • 验证平台是否支持分层分流（重叠实验框架），避免多个实验相互干扰。
  2. 部署样本量预估工具
    • 使用开源库（如 statsmodels、scipy.stats）或内部计算器。
    • 输入参数：基线转化率 p、最小效应 δ、显著性水平 α、统计功效 1-β。
    • 记录工具输出结果，并对比已有历史实验的样本量，确认合理性。
  3. 锁定指标定义基线
    • 产出《指标字典》，每项指标包含：名称、公式、数据源、维度、聚合方式、历史均值/中位数。
    • 对核心指标（如转化率、留存率、ARPU）运行回溯查询，验证数据一致性。
    • 确认指标统计口径与实验平台的埋点事件完全对应。
  4. 验证用户分组机制
    • 确保分组键（user_id/device_id）哈希均匀分布。
    • 执行一次 AA 测试（两组均为对照组），使用统计检验确认两组关键指标无显著差异。
    • 若连续 100 次 AA 测试中假阳性率 >5%，则需修复分组算法或增加分层因子。
💡 最佳实践：在正式实验前，建议每周执行一次全链路健康检查，包括：空实验、样本量校验、AA 测试。将检查结果记录在《实验基础设施健康看板》中，方便追溯异常。

3.4 输入输出物

角色 输入物 输出物
实验工程师 平台配置清单、实验设计文档 平台就绪检查结果表、空实验运行日志
数据科学家 基线指标历史查询结果 样本量预估汇总表、指标定义基线 v1.0 文档
数据工程师 用户分组算法代码 AA 测试分析报告、分组均匀性审计 SQL

3.5 责任边界

  • 实验工程师：负责平台功能可用性及埋点准确性，输出平台就绪日志。
  • 数据科学家：负责样本量预估、指标基线定义，输出《实验初始化指标文档》。
  • 数据工程师：负责用户分组机制的实现与稳定性，输出 AA 测试结果。
  • 产品经理：负责最终确认所有前置条件均已满足，并签署实验启动审批单。

3.6 记录材料

以下材料应在实验开始前归档至共享文档库：

  • 《实验平台功能检查清单》（含空实验截图）
  • 《样本量预估计算表》（可复算的 Excel 或 Python Notebook）
  • 《指标定义基线 v1.0》（含 SQL 查询语句）
  • 《AA 测试分析报告》（含 p 值分布图）

3.7 异常处理

异常场景 影响 处理措施
实验平台分流不稳定 组间样本量偏差 >1% 暂停实验，检查负载均衡与分层配置；回退版本后重新验证
样本量预估工具结果异常 预估样本量与实际流量严重不符 检查输入参数是否正确，对比另一工具（如 Evan’s Awesome A/B Tools）
基线指标与历史值偏差 >10% 数据口径可能变更 追溯数据链路，确认口径一致性；更新基线文档
AA 测试假阳性率 >5% 分组机制有偏 检查 hash 函数、样本交叉污染、时间窗口影响；修复后重跑 100 次 AA

3.8 验收标准

所有前置条件满足以下标准方可认为“就绪”：

  • ✅ 实验平台成功运行空实验，且指标报表无缺失。
  • ✅ 样本量预估工具在给定参数下输出数值，且与人工手动计算公式相差 <5%。
  • ✅ 指标定义基线文档经数据科学家与产品经理双签确认，且 SQL 可重复运行。
  • ✅ 用户分组机制通过 100 次 AA 测试，每次 p > 0.05 的比例 ≥95%。
📋 验收检查清单（供打印）：
□ 空实验已运行且日志完整
□ 样本量预估已保存
□ 指标基线文档已定稿
□ AA 测试 100 次通过率 ≥95%
□ 所有角色已在审批单上签字
前置条件依赖关系与验证流程 前置条件依赖关系与验证流程 实验平台就绪 空实验验证 样本量预估工具 公式对比校验 指标定义基线 SQL口径一致性 用户分组机制 AA测试 p>0.05 ≥95% ✅ 实验启动审批单 所有前置条件就绪 ⚠️ 说明 四个前置条件必须全部满足，缺一不可。用户分组机制依赖于前面三项的基线数据与工具。
⚠️ 常见陷阱：
  • 认为只要平台能跑实验就算就绪——忽略样本量预估工具的正确性，会导致实验周期过长或统计功效不足。
  • 指标基线定义只抄写旧文档，不验证 SQL 与当前数据表一致性——口径一旦变更，实验结果全部无效。
  • AA 测试只跑一次就认为通过——必须连续 100 次，以频率学派方法评估分组均匀性。
  • 各角色各自为政，没有统一记录材料——实验结束后无法复盘。

完成以上所有步骤并记录后，方可进入第4章《需求优先级排序流程启动》。

← 上一章 📖 返回目录 下一章 →