2. 假设提出步骤:从业务问题到可检验假设

2.1 适用场景

  • 团队已经明确了一个待验证的业务问题(如“新注册流程能否提高转化率”),但尚未形成可执行的 A/B 检验假设。
  • 需要将模糊的业务提问转化为具备统计可检验性的原假设与备择假设。
  • 多部门协作时,确保产品、数据、设计各方对“检验什么、用什么指标、怎么算显著”达成一致。

2.2 前置条件

  1. 已确定待优化的单一业务环节(如注册、购买、点击)。
  2. 已有可获取的行为数据(埋点日志、数据库、用户行为流)。
  3. 至少有一个候选的指标(如会话转化率、平均点击次数)。
  4. 项目团队中指定了假设提出责任人(通常为数据科学家或产品经理)。

2.3 操作步骤

  1. Step 1 — 拆解业务问题
    将原始业务提问(如“新注册流程更好吗?”)拆解为“相比旧流程,新流程在哪个指标上有多少变化”。
  2. Step 2 — 选择度量指标
    确定用于量化变化的核心指标(如注册完成率、注册时长、错误率),并确认该指标可被实验追踪。
  3. Step 3 — 定义原假设 H₀
    表述“指标在实验组与对照组之间无显著差异”,如:
    H₀:新流程的注册完成率 ≤ 旧流程的注册完成率
  4. Step 4 — 定义备择假设 H₁
    表述“指标存在方向性差异”(单侧或双侧),如:
    H₁:新流程的注册完成率 > 旧流程的注册完成率
  5. Step 5 — 填写假设模板
    使用标准化模板记录:业务问题、指标、H₀、H₁、检验方向、最小可检测效应量(MDE)、预期样本量。
从业务问题到可检验假设流程 业务问题 “新注册流程更好吗?” 拆解关键问题 哪个指标?多大变化? 选择可量化指标 注册完成率 定义原假设 H₀ H₀: 新流程 ≤ 旧流程 定义备择假设 H₁ H₁: 新流程 > 旧流程 记录假设模板 包含 MDE、样本量、检验方向 关键要点 所有假设必须同时包含原假设与备择假设,并明确指标方向(单侧或双侧)。

2.4 输入与输出物

项目输入物输出物
Step 1原始业务提问(自然语言)拆解后的关键问题列表
Step 2候选指标清单、数据可用性报告单一核心指标定义(含计算逻辑)
Step 3–4指标方向判断(正向/负向/双向)H₀ 与 H₁ 的数学公式或不等式
Step 5实验设计参数(MDE 预期、显著性水平)完整假设模板(见 2.6 记录材料)

2.5 责任边界

角色职责边界
产品经理提出业务问题,描述期望变化方向不参与统计公式编写,但需确认业务含义
数据科学家拆解问题、选择指标、定义 H₀/H₁、填写模板对假设的统计可检验性负责,不决定是否上线
数据工程师提供指标可采集性评估、数据字段说明不参与假设方向判断
实验评审委员会审核假设是否合理、指标是否无偏不负责具体撰写

2.6 记录材料:假设模板

以下为标准化假设记录模板,每项 A/B 测试实验开始前必须填写并保存至文档库。

# A/B 测试假设模板 (v2.1)
## 基本信息
实验名称: [例如:注册流程改版 A/B 测试]
业务问题: [例如:新注册流程能否提高注册转化率?]
团队负责人: [姓名]   填报日期: [YYYY-MM-DD]

## 假设定义
核心指标名称: 注册完成率 (注册成功用户数/开始注册用户数)
检验方向: 单侧(右侧)  
原假设 H₀: μ_新 ≤ μ_旧
备择假设 H₁: μ_新 > μ_旧

## 实验参数
显著性水平 α: 0.05
统计功效 1-β: 0.80
最小可检测效应量 (MDE): 相对提升 5%
预计样本量 (每组): 12000

## 数据需求
所需数据表: user_registration_log
过滤条件: 所有 web 端注册用户,排除营销活动流量
时间范围: 连续 7 天

2.7 异常处理

异常现象原因处理方案
业务问题无法拆解为单一指标问题过于宽泛,涉及多个产品环节拆分为多个子实验,或选择复合指标(如北极星指标)
指标不可量化/无数据支撑缺少埋点或数据未入库提前安排数据采集,或选择代理指标(如页面停留时长替代完成率)
H₀/H₁ 定义与业务方向相反团队对“更好”的理解不一致召开方向对齐会,用数据案例统一预期
模板中 MDE 过小导致样本量不可行效应量设定太乐观或流量有限协商增大 MDE 或延长实验周期,或改用序贯检验

2.8 验收标准

  • 输出的假设模板中,H₀ 与 H₁ 具有清晰的数学不等式表示,且与核心指标定义一致。
  • 模板包含全部必填字段:业务问题、指标、检验方向、MDE、样本量、显著性水平。
  • 至少经过产品经理与数据科学家双人确认签字(或文档审批记录)。
  • 若涉及双边检验,备择假设必须明确两侧范围(如 μ_新 ≠ μ_旧)。

经验提醒:假设提出阶段的“方向错误”是 A/B 测试失败的首要原因。务必在正式实验前,用历史数据或快速仿真验证 H₁ 的方向与经济可行性。