1. 假设清单概述

本章定位:作为课程的开篇,本章为整个实验设计流程奠定认知基础。你将系统理解假设清单的定义、与事实的关键区别,以及它在实验全生命周期中的轴心价值。

适用场景

  • 任何需要验证因果关系或变量影响的研究与开发活动
  • 产品功能、算法策略、营销方案的A/B测试或对照实验
  • 因果推断项目(如广告归因、政策效果评估)的前期框架搭建
  • 团队对同一实验目标存在多种“预期假设”时需要统一语义
  • 实验评审或复盘时,需要追溯原始假设是否成立

前置条件

  1. 实验发起人已明确待解决的问题或待验证的猜想
  2. 参与角色(数据科学家、业务方、工程人员)已就位
  3. 至少对实验指标(核心指标、护栏指标)有初步定义
  4. 团队具备记录与版本管理假设的基础工具(如Wiki、共享文档、实验管理平台)
  5. 所有成员理解“假设”与“事实”在证据强度上的差异

操作步骤

  1. 明确实验目标:用一句话描述“我们希望通过实验了解什么”。
  2. 生成初始假设:基于业务洞察、用户研究或已有数据,列出所有可能的因果猜想。
  3. 转化为假设清单条目:每个假设包含“如果……那么……因为……”三段结构。
  4. 标记证据类型:区分当前该假设属于“待验证的假设”还是“已知事实”。
  5. 评审并排序:按先验概率、影响范围、验证成本对假设清单条目进行优先级排序。
  6. 固化第一版假设清单:输出版本号、责任人、创建时间,作为后续实验设计的输入。

输入输出物

类型 内容描述 格式示例
输入 问题陈述、业务背景、用户反馈、初步数据洞察 文档/幻灯片/原始数据
输出 第一版假设清单(含假设ID、描述、证据状态、优先级) 结构化表格(Excel/Notion/数据库)

责任边界

  • 实验负责人:组织假设生成会议,确保清单覆盖所有主要备选解释。
  • 业务方:提供领域知识与预期效果方向,但不得预设结论。
  • 数据/算法工程师:评估假设的可操作性(能否被实验检验)。
  • 评审委员会/PM:在假设清单中标记高风险或高成本假设,决定是否提前排除。

记录材料

记录项 必需字段 示例值
假设条目 ID、假设描述、证据状态、责任人、创建时间、优先级 H-001 / 若提高按钮对比度,则CTR提升2% / 待验证 / 张三 / 2025-01-10 / P0
版本日志 版本号、变更内容、变更人、时间 v1.0 / 初始清单创建 / 李四 / 2025-01-11
讨论纪要 联系人、争议焦点、决议 王五 / 假设H-003与H-004是否互斥 / 合并为H-005

异常处理

  • 假设过多:超过20条时,优先使用四象限法(影响×置信度)快速收敛。
  • 假设与事实混淆:用“已知证据”列标注来源(如公开报告、历史实验数据),并移入“事实清单”单独管理。
  • 缺少可测量指标:返回前置条件阶段,补充指标定义后再继续。
  • 团队对假设优先级分歧:执行匿名加权投票,或使用“实验成本-预期收益”矩阵量化。
  • 假设清单版本混乱:建立唯一归档库,所有更新必须通知全体参与者。

验收标准

  1. 假设清单至少包含5条结构完整的假设(如果…那么…因为…)。
  2. 每一条假设均被标记为“假设”或“事实”,且“事实”条目附有验证来源。
  3. 清单中存在明确的优先级标签(P0~P3或High/Medium/Low)。
  4. 已指定该假设清单的负责人及审批人。
  5. 清单已归档为v1.0版本,且团队成员均可访问。
假设清单在实验中的枢纽价值 假设清单 (结构化猜想集合) 问题与先验洞察 业务 / 用户 / 数据 实验设计大纲 变量 / 指标 / 分组 事实清单 (已验证的已知结论) 实验结论 & 迭代 迭代反馈 核心价值点 ● 防止“先有结论再找证据” ● 缩短实验设计周期约40%
关键认知:假设清单不是“想法收集箱”,而是一个经过优先级排序、证据状态标注、可操作验证的决策前置工具。第一次创建时允许包含不成熟的猜想,但必须明确标记为“待验证”,而不是默认当做事实。