第2章 原假设与备择假设：定义、检验方向与数学表达
本章聚焦 A/B 实验假设构建的核心——原假设 H₀ 与备择假设 H₁ 的定义、单侧与双侧检验的选取逻辑，以及假设对立的数学表达方式。正确构建 H₀ 与 H₁ 是实验统计推断的基石，决定了后续检验方法的选择和结论的有效性。
2.1 适用场景
原假设与备择假设的定义适用于以下具体场景：
- 新功能/策略效果验证：判断实验组与对照组在核心指标上是否存在统计显著差异。
- 指标优化方向确认：已知预期变化方向（提升或降低）时，选择单侧检验；无明确方向时使用双侧检验。
- 风险控制实验：需要验证新版本不劣于当前版本（非劣效性）时，构造单侧假设。
- 多指标同时检验：每个指标独立构建 H₀/H₁ 对，并调整多重比较校正。
- 监管或合规性报告：需提供统计假设文档以证明实验设计的严谨性。
核心原则：H₀ 与 H₁ 必须互斥且完备（Mutually Exclusive & Collectively Exhaustive），即所有可能的结果恰好被两个假设覆盖，且无重叠。
2.2 前置条件
在定义 H₀ 与 H₁ 之前，团队必须完成以下准备工作：
| 前置条件 | 说明 | 验收标准 |
|---|---|---|
| 实验目标明确 | 业务方与数据团队对实验要验证的因果效应达成一致 | 已签署实验目标文档 |
| 核心指标选定 | 确定一个或多个主要评价指标（如转化率、人均时长） | 指标定义文档已评审 |
| 最小效应量（MDE）确定 | 业务方给出可接受的最小实践改善幅度 | MDE 值记录在实验设计表中 |
| 样本量与统计功效估算 | 基于 MDE 和 α 计算出所需样本量 | 样本量估算报告已输出 |
| 方向性判断 | 业务预期是单向改善还是双向未知 | 在实验设计表中标注检验方向 |
2.3 操作步骤
假设构建遵循五步法，每一步都有明确的输入和输出：
- 明确实验问题：用一句话描述要验证的因果链，例如“将按钮颜色改为红色能否提高点击率”。
- 定义原假设 H₀：H₀ 代表“无差异”或“现状”，通常包含等号（=、≤、≥）。
- 定义备择假设 H₁：H₁ 代表“有差异”或“变化”，与 H₀ 严格对立。
- 选择检验方向：根据业务预期选择单侧（大于/小于）或双侧（不等于）。
- 写出数学表达式：用参数符号（μ、p、RR 等）将 H₀ 与 H₁ 形式化。
下图展示了从实验问题到数学表达式的完整构建流程：
专家提示：在 A/B 实验中，H₀ 通常设定为“实验组与对照组指标无差异”（μA = μB），H₁ 则为“有差异”。若业务明确预期指标不会变差，可使用单侧检验以提升统计功效。
2.4 输入输出物
| 类别 | 名称 | 说明 | 示例 |
|---|---|---|---|
| 输入 | 实验目标文档 | 描述实验背景、核心指标、预期效应方向 | “新版注册流程转化率提升 0.5pp” |
| 输入 | 最小效应量 MDE | 业务认可的最小实践改善幅度 | Δ = 0.5% |
| 输入 | 显著性水平 α | 通常取 0.05 或 0.01 | α = 0.05 |
| 输出 | 假设对文档 | 包含 H₀、H₁、检验方向、数学表达式 | 见下方记录材料模板 |
| 输出 | 检验方向决策记录 | 选择单侧/双侧的依据与审批人 | 业务 VP 确认单向预期 |
2.5 责任边界
- 数据科学家/分析师：负责将业务问题转化为统计假设，选择正确的检验方向，书写数学表达式，并验证 H₀ 与 H₁ 的对立性。
- 业务方/产品经理：提供预期效应方向（单向/双向）和最小效应量 MDE，确认假设是否符合业务逻辑。
- 技术负责人：确保实验分组、指标埋点和数据采集满足假设检验的要求。
- 评审委员会（可选）：在大型或高风险实验中，对假设构建进行 cross-review，防止方向性错误。
常见责任模糊点：业务方未明确预期方向时，分析师默认使用双侧检验，但后续若出现单侧显著而双侧不显著的情况，容易引发争议。建议在实验设计阶段强制要求业务方填写“预期方向”字段并签字确认。
2.6 记录材料
每次实验的假设构建必须留痕，推荐使用以下模板：
---
实验名称: 注册页按钮颜色 A/B Test
实验编号: EXP-2025-003
版本日期: 2025-04-07
原假设 H₀: μ_红色 = μ_蓝色 (按钮点击率无差异)
备择假设 H₁: μ_红色 > μ_蓝色 (红色按钮点击率更高)
检验方向: 单侧（右侧）
显著性水平 α: 0.05
最小效应量 MDE: 0.3pp
检验统计量: 两样本 z 检验
样本量规划: 每组 15,000 用户
业务方确认: 张三 (产品总监)
分析师: 李四 (数据科学部)
---该模板应存放于实验管理系统的“假设定义”子模块中，并与实验配置、分析结果关联。
2.7 异常处理
| 异常情况 | 可能原因 | 解决方案 |
|---|---|---|
| H₀ 与 H₁ 不互斥 | 使用了重叠区间，例如 H₀: μ ≤ 0.5 且 H₁: μ > 0.4 | 重新定义，确保 H₀ 包含等号，H₁ 为严格反向 |
| 检验方向选择错误 | 业务预期为双向但选了单侧，或反之 | 回归业务目标文档，重新与业务方确认预期方向 |
| 数学表达式与实际指标不一致 | 指标是比率但用了均值符号 | 统一使用正确的参数符号（p 为比率，μ 为均值，RR 为相对风险） |
| 假设文档缺失审批 | 流程未嵌入实验中台 | 在实验创建环节设置“假设定义”为必填步骤，并触发审批流 |
| 后期发现 H₀ 写反 | 匆忙上线未做对立性验证 | 执行验收检查（见 2.8），强制要求分析师逐项自检 |
对立性自检方法：将 H₀ 和 H₁ 同时取反，看是否得到另一对合理的假设。例如 H₀: μ ≤ 0.5 取反得 μ > 0.5，恰好是 H₁，说明定义正确。
2.8 验收标准
完成假设构建后，使用以下检查清单逐项验收，全部通过方可进入实验实施阶段：
| # | 检查项 | 通过条件 |
|---|---|---|
| 1 | 互斥性 | H₀ 与 H₁ 没有重叠区间 |
| 2 | 完备性 | 所有可能的结果恰好被 H₀ 或 H₁ 覆盖 |
| 3 | 方向匹配 | 检验方向与业务预期方向一致（单侧/双侧） |
| 4 | 符号正确 | H₀ 包含等号（=、≤、≥），H₁ 为反向（≠、>、<） |
| 5 | 参数一致 | 数学表达式中使用的参数符号与核心指标定义一致 |
| 6 | 文档完整 | 假设文档包含实验名称、H₀/H₁、α、MDE、检验方向、责任人 |
| 7 | 审批完成 | 业务方与数据方已签字确认 |
验收建议：将上述 7 项检查嵌入实验管理系统的“假设定义”页面，