第1章 实验假设定义：提出零假设与备择假设、确定比较方向、预期效应最小可检测值

实验假设定义是整个 A/B 测试的“地基”。如果假设定义不清晰、比较方向选错或最小可检测效应（MDE）设定不合理，后续的样本量计算、实验运行和结果分析都会失去准确性。本章按照 SOP 流程，逐一拆解如何写出合格的零假设与备择假设、如何确定单尾或双尾比较方向、以及如何设定预期效应最小可检测值。

1.1 适用场景

• 对比型实验：涉及两个版本（如旧版 vs 新版）之间的效果比较。
• 指标优化类实验：以提升核心指标（转化率、留存率、收入等）为目标。
• 风险验证型实验：需要确认改版是否带来负向影响，或是否达到预设的业务阈值。
• 监管或合规要求：部分业务场景要求预先声明假设方向和效应量，用于实验备案。

1.2 前置条件

1.3 操作步骤

1. 将业务问题转化为统计问题。用“实验组与对照组在核心指标上是否存在差异”的句式重新描述业务目标。
2. 写出零假设（H₀）。零假设通常表述为“实验组与对照组的指标无差异”或“实验组指标不优于对照组”。
3. 写出备择假设（H₁）。备择假设与零假设互斥，表述为“实验组与对照组的指标存在差异”或“实验组指标优于对照组”。
4. 确定比较方向。根据业务风险偏好选择双尾检验（关注任意方向差异）或单尾检验（关注特定方向的变化）。
5. 设定预期效应最小可检测值（MDE）。基于历史数据、业务最小有意义变化和可用样本量，给出一个具体的相对提升或绝对差值。
6. 记录假设定义。将 H₀、H₁、比较方向、MDE 写入实验设计文档，并提交评审。

1.4 输入输出物

1.5 责任边界

• 业务方 / 产品经理：提供业务问题、最小有意义变化阈值，确认假设方向是否符合业务预期。
• 数据科学家 / 分析师：将业务问题翻译为统计假设，选定比较方向，基于历史数据估算 MDE。
• 工程 / 实验平台方：确保实验分组和指标埋点能够支持假设检验，不参与假设定义。

1.6 记录材料

1.7 异常处理

• 比较方向选择错误：若业务方只关心正向提升却选了双尾，会降低检验功效；若选了单尾但实验出现负向效果，将无法检出。应结合业务风险偏好和实验目标重新评审方向。
• MDE 设定过小：导致所需样本量巨大，实验无法在合理时间内完成。应参考历史波动幅度和业务最小有意义变化，适当放宽 MDE。
• H₀ 与 H₁ 不互斥：两个假设存在重叠，导致检验结论模糊。需要重新用“无差异 vs 有差异”或“不大于 vs 大于”的标准句式校正。
• 备择假设方向与比较方向矛盾：例如备择假设写“实验组高于对照组”，比较方向却选了双尾。必须保持一致，否则统计检验无效。

1.8 验收标准

1. H₀ 与 H₁ 互斥且覆盖所有可能结果（无歧义）。
2. 比较方向明确标注为“单尾”或“双尾”，并在备择假设中得到体现。
3. MDE 为一个具体的数值（如“相对提升 3%”），并附有来源依据。
4. 假设定义文档已获得业务方、数据方至少两方签字确认。
5. 所有异常处理记录已归档，无未解决的争议项。