第2章:实验假设撰写标准
适用场景
- 在启动任何A/B测试前,需要将模糊的产品直觉转化为可证伪的统计命题。
- 当业务方、产品经理与数据团队对“到底测什么”存在分歧时。
- 作为实验设计左移的关键节点,确保资源投入前假设已被严谨表达。
前置条件
| 编号 | 条件 | 检查清单 |
|---|---|---|
| 1 | 已明确待验证的产品变化 | ☐ 变化描述已写入手册 |
| 2 | 已定义核心指标(如转化率、留存) | ☐ 指标口径与计算逻辑已确认 |
| 3 | 理解统计显著性基础概念 | ☐ 团队成员已完成假设检验培训 |
操作步骤
- 识别业务现象:用一句话描述观察到的用户行为或业务痛点。
- 转化为零假设(H₀):假设变化前后指标无差异,即“新版本与旧版本效果相同”。
- 构建备择假设(H₁):明确期望的方向,差异存在且具有指定方向性。
- 设定方向性假设:在H₁中明确是“大于”、“小于”还是“不等于”。
- 业务语言转化:将统计假设翻译为产品、运营、领导都能理解的陈述。
- 填入假设模板:使用标准化表达式输出最终假设。
输入输出物
| 类型 | 详细描述 |
|---|---|
| 输入 | 产品需求文档、核心指标定义、用户行为数据快照 |
| 输出 | 已审定的实验假设表(含H₀、H₁及方向性) |
责任边界
- 产品经理:提供业务洞察与指标优先级
- 数据科学家:确保统计语言准确、性正确
- 决策层:确认假设与业务目标对齐
记录材料
建议使用下表作为实验假设记录文档的基础模板,在实验设计阶段同步维护。
| 字段 | 示例值 |
|---|---|
| 实验ID | EXP-2024-04-001 |
| 零假设 H₀ | 新按钮颜色对点击率无影响 |
| 备择假设 H₁ | 新按钮颜色使点击率 > 旧按钮 |
| 方向性 | 单侧(大于) |
| 业务语言 | 预期新按钮让更多人点击 |
| 负责人 | 张三(pm)/ 李四(ds) |
异常处理
若H₀与H₁未形成互斥对,或方向性不明确,实验结论将无法解释。此时必须退回至步骤1重新描述业务现象。
验收标准
- ☐ H₀与H₁构成完整互斥覆盖
- ☐ 方向性已明确(单侧/双侧)
- ☐ 业务语言翻译后,非技术人员能理解预期效果
- ☐ 假设模板所有字段已填写
- ☐ 示例假设已在团队内评审通过
假设模板与案例
标准化假设模板(可直接复制填写):
零假设 H₀: 新方案(A/B测试变体)对[指标]无影响。
备择假设 H₁: 新方案使[指标] [大于/小于/不等于] 旧方案。
方向性: [单侧/双侧]
业务语言: 我们期望新方案(描述变化)会[提升/降低/改变][指标]。
案例:优化注册页面表单字段数量
| 要素 | 内容 |
|---|---|
| H₀ | 减少字段数量对注册完成率无影响 |
| H₁ | 减少字段数量使注册完成率 > 原版本 |
| 方向性 | 单侧(大于) |
| 业务语言 | 我们期望简化注册流程能提高用户注册率 |