4. 实验假设：如何提出有效的实验假设（H₀与H₁），假设驱动的实验设计原则
在 Champion / Challenger 实验中，实验假设是整个实验的逻辑起点。没有清晰的假设，实验就会变成“盲目对比数据”，无法得出可复用的业务结论。本章将系统讲解如何构建统计假设（H₀ 与 H₁），并遵循假设驱动的设计原则来规划实验。
4.1 什么是统计假设？
统计假设是对总体参数或总体分布形式所作的一个事先判断。在 A/B 测试语境下，我们通常关心两个版本（Champion 与 Challenger）在某个关键指标上是否存在显著差异。
| 术语 | 符号 | 含义 | 业务示例 |
|---|---|---|---|
| 零假设 | H₀ | 两个版本之间没有显著差异；任何观测到的差异都是由随机波动引起的。 | “新推荐算法（Challenger）与当前算法（Champion）的点击率相同。” |
| 备择假设 | H₁ | 两个版本之间存在显著差异；观测到的差异是真实存在的。 | “新推荐算法（Challenger）的点击率高于当前算法（Champion）。” |
记忆口诀：H₀ 代表“现状”（无差异），H₁ 代表“改变”（有差异）。实验的目标就是收集足够证据来拒绝 H₀，从而支持 H₁。
4.2 假设驱动的实验设计原则
假设驱动（Hypothesis-Driven）意味着实验设计不是从“跑个 A/B 测试看看”开始，而是从一个具体的、可验证的假设开始。以下是核心原则：
- 可量化原则：假设必须包含可测量的指标（如转化率、留存率、平均订单金额）。
- 方向性原则：明确预期 Challenger 是“优于”还是“劣于”Champion，而非仅仅“不同”。
- 可证伪原则：假设必须有可能被数据推翻。例如“用户更喜欢新界面”太模糊，应改为“新界面使注册转化率提升至少 2%”。
- 业务关联原则：假设应直接关联到业务目标（如收入、用户活跃度），而非仅关注中间指标。
- 单一变量原则：每次实验只改变一个核心变量，否则无法归因。
❌ 错误假设：“新版本可能更好。”
✅ 正确假设：“将结算按钮颜色从灰色改为绿色（Challenger），相比当前灰色按钮（Champion），能使结算页面的点击转化率提升至少 3%。”
✅ 正确假设：“将结算按钮颜色从灰色改为绿色（Challenger），相比当前灰色按钮（Champion），能使结算页面的点击转化率提升至少 3%。”
4.3 提出有效假设的步骤框架
我们可以使用 ICE 框架（Impact, Confidence, Ease）来筛选和打磨假设，但更直接的步骤是：
- 观察与洞察：基于数据或用户研究发现问题（如“购物车放弃率高”）。
- 提出业务猜想：“如果……那么……”句式。例如：“如果简化结算流程，那么购物车放弃率会下降。”
- 转化为统计假设：将业务猜想翻译为 H₀ 和 H₁。
- 定义成功指标：明确用什么指标衡量，以及最小可检测效应（MDE）。
- 确定实验单元：用户级别、会话级别还是事件级别。
4.4 单尾检验 vs 双尾检验
在设定 H₁ 时，需要决定使用单尾检验还是双尾检验。这个选择直接影响实验的统计功效和样本量。
| 检验类型 | H₁ 形式 | 适用场景 | 统计功效 |
|---|---|---|---|
| 双尾检验 | Challenger ≠ Champion | 不确定新版本会更好还是更差，只关心“有差异”。 | 较低（需要更大样本） |
| 单尾检验（右） | Challenger > Champion | 有明确业务预期新版本会提升指标。 | 较高（相同样本量下更容易检测到差异） |
| 单尾检验（左） | Challenger < Champion | 预期新版本会降低指标（如减少错误率）。 | 较高 |
⚠️ 重要提醒：单尾检验必须在实验开始前确定，不能在看到数据后再选择。如果实验前没有明确方向，请使用双尾检验以避免偏见。
4.5 实战案例：从业务问题到统计假设
假设我们运营一个电商平台，当前结算页面的转化率为 12%。产品经理提出：“在结算页面增加‘信任徽章’（安全支付标识）可能会提高转化率。”
步骤 1：转化为业务猜想
- “在结算页面添加信任徽章，能使结算转化率从 12% 提升到至少 13%。”
步骤 2：写出统计假设
H₀: p_Challenger = p_Champion （添加信任徽章后转化率不变）
H₁: p_Challenger > p_Champion （添加信任徽章后转化率提升）
其中 p 代表结算转化率。步骤 3：定义指标与 MDE
- 核心指标：结算转化率（Conversion Rate, CR）
- 最小可检测效应（MDE）：1 个百分点（从 12% 到 13%），即相对提升 8.33%
- 显著性水平 α：0.05
- 统计功效 1-β：0.80
步骤 4：确定实验单元
- 实验单元：用户级别（每个用户在整个实验期间只看到一种版本）
- 分流方式：随机 50/50 分流
📌 关键检查点：在正式运行实验前，请确认你的假设是否满足以下条件：
✅ 假设包含具体的指标和方向
✅ H₀ 和 H₁ 互斥且完备
✅ 实验只改变一个变量（信任徽章的有无）
✅ 成功标准（MDE）在业务上具有实际意义
✅ 假设包含具体的指标和方向
✅ H₀ 和 H₁ 互斥且完备
✅ 实验只改变一个变量（信任徽章的有无）
✅ 成功标准（MDE）在业务上具有实际意义
4.6 常见误区与避坑指南
- 误区 1：假设过于模糊。“新版本更好”不是假设，而是愿望。必须量化。
- 误区 2：H₀ 和 H₁ 写反。记住 H₀ 永远是“无差异”或“现状”。
- 误区 3：忽略实际显著性。即使统计显著，如果提升幅度只有 0.01%，在业务上可能毫无价值。始终结合 MDE 来设计实验。
- 误区 4：在实验过程中修改假设。假设必须在实验开始前注册并锁定。事后修改假设属于 p-hacking（数据操纵）。
4.7 本章小结
- 实验假设是 Champion / Challenger 实验的逻辑基石，必须清晰、可量化、可证伪。
- H₀ 代表“无差异”，H₁ 代表“有差异”或“有方向性差异”。
- 遵循假设驱动设计原则：从业务洞察出发，逐步转化为统计假设，再定义指标和实验参数。
- 根据业务预期选择单尾或双尾检验，并在实验开始前固定假设。
- 使用 MDE 确保实验具有实际业务意义，避免“统计显著但业务无用”的陷阱。