3. 实验假设构建：从业务问题到可验证假设
实验假设是A/B分流的逻辑起点。一个模糊的业务问题无法直接进入实验，必须转化为可验证的统计假设。本章将拆解从业务问题到量化假设的完整链路，并给出优先级排序方法。
3.1 从业务问题到可验证假设
业务问题通常以“如何提升X指标”或“Y功能是否有效”的形式出现。实验假设需要将这类开放问题转化为具体、可测量、有方向的陈述句。
| 阶段 | 示例 | 说明 |
|---|---|---|
| 原始业务问题 | 用户留存率偏低，怎么办？ | 问题宽泛，无具体干预措施 |
| 转化为干预方案 | 在注册流程中增加新手引导弹窗 | 明确实验变量（有/无弹窗） |
| 可验证假设 | 增加新手引导弹窗后，7日留存率提升至少2% | 包含方向、指标、效应量 |
关键原则：一个好的实验假设必须包含三个要素——干预变量（改变什么）、核心指标（衡量什么）、预期效应（变化多少）。缺少任何一项，假设都无法进入实验设计阶段。
3.2 零假设与备择假设
在统计推断框架下，实验假设被拆分为一对互斥的陈述：
- 零假设（H₀）：实验组与对照组在核心指标上无差异，或差异不显著。通常表述为“干预无效”。
- 备择假设（H₁）：实验组与对照组在核心指标上存在显著差异。通常表述为“干预有效”。
实验的目标是通过样本数据，在给定显著性水平（通常 α=0.05）下，判断是否有足够证据拒绝 H₀，从而接受 H₁。
| 假设类型 | 统计表述 | 业务含义 |
|---|---|---|
| 零假设 H₀ | μ实验 = μ对照 | 新功能上线后，核心指标无变化 |
| 备择假设 H₁（双尾） | μ实验 ≠ μ对照 | 新功能可能提升或降低指标 |
| 备择假设 H₁（单尾） | μ实验 > μ对照 | 新功能预期只提升指标（方向明确） |
常见误区：不要将“实验假设”与“备择假设”直接等同。实验假设是业务语言，备择假设是统计语言。在实验设计文档中，两者都需要明确写出，避免团队对“实验成功标准”产生歧义。
3.3 假设的量化与优先级排序
当团队同时提出多个实验假设时，需要一套量化评估体系来排序，避免资源浪费在低价值实验上。
3.3.1 量化维度
每个假设可以从以下三个维度进行打分（1-5分）：
- 预期影响（Impact）：如果假设成立，对核心业务指标的提升幅度。
- 实现成本（Cost）：开发、设计、数据埋点、实验周期等资源投入。
- 证据强度（Confidence）：基于历史数据、用户调研或行业经验，假设成立的可能性。
3.3.2 ICE 优先级公式
使用 ICE 评分法对假设进行排序：
ICE Score = (Impact × Confidence) / Cost得分越高，实验优先级越高。该公式强制团队在“高影响但高成本”与“低成本但低影响”之间做出权衡。
3.3.3 假设优先级矩阵示例
| 假设编号 | 假设描述 | Impact (1-5) | Confidence (1-5) | Cost (1-5) | ICE 得分 | 优先级 |
|---|---|---|---|---|---|---|
| H1 | 首页增加搜索框，提升转化率 | 4 | 3 | 2 | 6.0 | 高 |
| H2 | 支付页增加优惠券弹窗，提升客单价 | 5 | 4 | 4 | 5.0 | 中 |
| H3 | 修改注册按钮颜色，提升注册率 | 2 | 2 | 1 | 4.0 | 低 |
实践建议：ICE 评分应由实验负责人、产品经理、数据分析师共同完成，避免单一角色偏见。评分结果记录在实验假设库中，作为后续实验复盘的重要参考。
3.4 假设构建与优先级排序流程
下图展示了从业务问题到实验假设，再到优先级排序的完整流程：
3.5 假设构建检查清单
在将假设提交进入实验设计阶段前，建议逐项核对以下清单：
- 方向明确：假设是否指明了干预的方向（提升/降低/不变）？
- 指标可测：核心指标是否已有埋点或可快速部署？
- 效应量合理：预期提升幅度是否基于历史数据或行业基准？
- 零假设清晰：H₀ 是否明确表述为“无差异”？
- 备择假设完整：H₁ 是否包含单尾或双尾选择？
- 优先级已排：是否已使用 ICE 或类似方法进行排序？
团队协作提示：建议使用共享文档或实验管理平台维护“实验假设库”，每个假设包含：假设描述、H₀/H₁、核心指标、预期效应量、ICE 评分、状态（待评估/进行中/已完成/已废弃）。这能有效避免重复实验和资源浪费。