第2章:实验假设撰写标准

适用场景

  • 在启动任何A/B测试前,需要将模糊的产品直觉转化为可证伪的统计命题。
  • 当业务方、产品经理与数据团队对“到底测什么”存在分歧时。
  • 作为实验设计左移的关键节点,确保资源投入前假设已被严谨表达。

前置条件

编号条件检查清单
1已明确待验证的产品变化☐ 变化描述已写入手册
2已定义核心指标(如转化率、留存)☐ 指标口径与计算逻辑已确认
3理解统计显著性基础概念☐ 团队成员已完成假设检验培训

操作步骤

  1. 识别业务现象:用一句话描述观察到的用户行为或业务痛点。
  2. 转化为零假设(H₀):假设变化前后指标无差异,即“新版本与旧版本效果相同”。
  3. 构建备择假设(H₁):明确期望的方向,差异存在且具有指定方向性。
  4. 设定方向性假设:在H₁中明确是“大于”、“小于”还是“不等于”。
  5. 业务语言转化:将统计假设翻译为产品、运营、领导都能理解的陈述。
  6. 填入假设模板:使用标准化表达式输出最终假设。

输入输出物

类型详细描述
输入产品需求文档、核心指标定义、用户行为数据快照
输出已审定的实验假设表(含H₀、H₁及方向性)

责任边界

  • 产品经理:提供业务洞察与指标优先级
  • 数据科学家:确保统计语言准确、性正确
  • 决策层:确认假设与业务目标对齐

记录材料

建议使用下表作为实验假设记录文档的基础模板,在实验设计阶段同步维护。
字段示例值
实验IDEXP-2024-04-001
零假设 H₀新按钮颜色对点击率无影响
备择假设 H₁新按钮颜色使点击率 > 旧按钮
方向性单侧(大于)
业务语言预期新按钮让更多人点击
负责人张三(pm)/ 李四(ds)

异常处理

若H₀与H₁未形成互斥对,或方向性不明确,实验结论将无法解释。此时必须退回至步骤1重新描述业务现象。

验收标准

  • ☐ H₀与H₁构成完整互斥覆盖
  • ☐ 方向性已明确(单侧/双侧)
  • ☐ 业务语言翻译后,非技术人员能理解预期效果
  • ☐ 假设模板所有字段已填写
  • ☐ 示例假设已在团队内评审通过

假设模板与案例

标准化假设模板(可直接复制填写):

零假设 H₀: 新方案(A/B测试变体)对[指标]无影响。
备择假设 H₁: 新方案使[指标] [大于/小于/不等于] 旧方案。
方向性: [单侧/双侧]
业务语言: 我们期望新方案(描述变化)会[提升/降低/改变][指标]。

案例:优化注册页面表单字段数量

要素内容
H₀减少字段数量对注册完成率无影响
H₁减少字段数量使注册完成率 > 原版本
方向性单侧(大于)
业务语言我们期望简化注册流程能提高用户注册率

本章流程结构图

实验假设撰写流程 1 识别业务现象 2 转化为零假设H₀ 3 构建备择假设H₁ 4 设定方向性假设 5 业务语言转化 关键检查 H₀与H₁互斥且完备 方向性必须提前申明 业务语言可被非技术 团队理解