第2章 实验假设撰写模板

适用场景

• 新功能验证：上线前需判断功能是否对核心指标产生正向影响
• 交互改版评估：页面布局、文案、流程变更对用户行为的影响预测
• 策略效果归因：推荐算法、定价策略、权益发放等策略调整的效果量化
• 需求优先级排序：多个候选需求需要对齐业务预期并量化收益期望

前置条件

操作步骤

假设撰写遵循 四要素定义 → 可测量性检查 → 统计假设构建 三步流程，每一步都包含标准模板和检查清单。

1. 步骤一：定义假设四要素

   使用标准模板填写以下四个维度，确保每个维度都有明确的操作定义。

   要素	定义	示例（电商新用户首单提升）	常见错误
   用户（Who）	目标用户群体的精确描述，包含筛选条件和排除规则	注册时间≤7天且未完成首单的新用户	范围过宽（如“所有用户”）或过窄（如“仅iOS端男性用户”）
   行为（What）	用户需执行的具体动作路径，含页面位置、交互方式	在商品详情页点击“立即购买”按钮	行为定义模糊（如“进行购买”未指定入口）
   诱因（Why/When）	触发用户行为的场景、条件或动机，包含展示位置、时机、文案	首页Banner及商品页顶部展示“新用户首单立减20元”横幅	诱因与行为脱节（如Banner展示但无跳转路径）
   预期效果（Impact）	期望达成的业务指标变化，包含指标名称、基线值、目标值、置信区间	新用户首单转化率从8.5%提升至12.0%（相对提升41.2%）	目标值无依据（未结合历史数据或业务增长率）

   撰写技巧：四要素应形成完整的因果关系链——因为对某类用户施加了特定诱因，所以他们会产生某种行为，最终带来可量化的指标提升。
2. 步骤二：可测量性检查

   对步骤一中的预期效果进行可测量性评估，通过以下四项检查。

   检查项	标准	验证方法	通过条件
   指标明确性	指标有清晰的计算公式和统计口径	查阅指标字典，确认定义一致	计算公式和口径已归档
   数据可采集性	指标所需数据已埋点或可通过已有日志计算	执行埋点验证查询，检查数据回传	埋点数据在测试环境成功回传
   基线值已知	当前指标的历史均值、标准差和样本量可获取	从数据看板拉取近30天数据	基线值置信区间宽度<±10%
   目标值合理	目标值基于历史趋势、行业基准或理论最大值设定	对比历史同期增长率或竞品数据	目标值在基线值的±50%以内且有理有据

   注意：可测量性检查是假设从“定性描述”转向“定量验证”的关键门槛。未通过检查的假设应返回步骤一重新定义预期效果，不可进入后续统计设计阶段。
3. 步骤三：构建备择假设与零假设

   基于经过可测量性检查的假设，构建统计假设对。

   类型	符号	定义	示例（新用户首单转化率）	判断标准
   零假设	H₀	实验组与对照组在核心指标上无显著差异，观测到的差异由随机误差引起	实验组（新用户首单转化率）≤ 对照组（新用户首单转化率）	p值 < 0.05 时拒绝H₀
   备择假设	H₁	实验组与对照组在核心指标上存在显著差异，差异由实验干预引起	实验组（新用户首单转化率）> 对照组（新用户首单转化率）	p值 < 0.05 时接受H₁

   关键原则：H₀ 和 H₁ 必须互斥且完备，覆盖所有可能结果。在A/B测试中，H₀ 通常表示“无正向效果”，H₁ 表示“有正向效果”（单侧检验）或“有差异”（双侧检验）。默认使用单侧检验需提前确认业务只关心正向提升。

输入输出物

责任边界

记录材料

使用以下标准化JSON模板记录实验假设，作为实验配置的源头文件，并纳入版本管理（Git / 实验管理平台）。

{
  "假设ID": "HYP-2025-001",
  "实验名称": "新用户首单立减20元横幅提升转化率",
  "版本": "1.0",
  "最后修改时间": "2025-03-21T10:30:00+08:00",
  "假设四要素": {
    "用户": {
      "描述": "注册时间≤7天且未完成首单的新用户",
      "筛选条件": "user_reg_days <= 7 AND first_order_status = 0",
      "排除规则": "已领取过其他新人激励的用户"
    },
    "行为": {
      "动作": "点击'立即购买'按钮",
      "页面路径": "商品详情页 → 立即购买按钮",
      "埋点事件": "product_detail_buy_click"
    },
    "诱因": {
      "展示位置": "首页Banner + 商品详情页顶部横幅",
      "文案": "新用户首单立减20元",
      "触发条件": "用户首次进入首页或商品详情页时展示",
      "频次控制": "每个用户最多展示3次，展示后关闭不再显示"
    },
    "预期效果": {
      "指标名称": "新用户首单转化率",
      "计算公式": "完成首单的新用户数 / 进入商品详情页且未完成首单的新用户数",
      "基线值": "8.5%",
      "基线置信区间": "[8.2%, 8.8%]",
      "目标值": "≥12.0%",
      "绝对提升": "3.5个百分点",
      "相对提升": "41.2%"
    }
  },
  "可测量性检查": {
    "指标明确性": "PASS",
    "数据可采集性": "PASS",
    "基线值已知": "PASS",
    "目标值合理": "PASS",
    "检查日期": "2025-03-21",
    "检查人": "data_scientist_alice"
  },
  "统计假设": {
    "零假设_H0": "实验组（展示横幅）的新用户首单转化率 ≤ 对照组（不展示横幅）的新用户首单转化率",
    "备择假设_H1": "实验组（展示横幅）的新用户首单转化率 > 对照组（不展示横幅）的新用户首单转化率",
    "检验方向": "单侧（右尾）",
    "显著性水平": "0.05"
  },
  "状态": "待评审"
}

异常处理

验收标准

假设文档通过以下全部检查项后，方可进入实验设计与配置阶段。

• 完整性：假设四要素每个维度都有至少50字的具体描述，无空字段
• 可测量性：可测量性检查表四项全部为PASS，且检查人及日期已填写
• 统计正确性：H₀和H₁互斥且完备，检验方向与业务目标一致，显著性水平明确
• 可追溯性：假设文档包含唯一ID、版本号、修改时间线及变更记录
• 团队共识：PM、DS、DA三方在文档上签字确认（或在线审批通过）