1. 假设清单概述
本章定位:作为课程的开篇,本章为整个实验设计流程奠定认知基础。你将系统理解假设清单的定义、与事实的关键区别,以及它在实验全生命周期中的轴心价值。
适用场景
- 任何需要验证因果关系或变量影响的研究与开发活动
- 产品功能、算法策略、营销方案的A/B测试或对照实验
- 因果推断项目(如广告归因、政策效果评估)的前期框架搭建
- 团队对同一实验目标存在多种“预期假设”时需要统一语义
- 实验评审或复盘时,需要追溯原始假设是否成立
前置条件
- 实验发起人已明确待解决的问题或待验证的猜想
- 参与角色(数据科学家、业务方、工程人员)已就位
- 至少对实验指标(核心指标、护栏指标)有初步定义
- 团队具备记录与版本管理假设的基础工具(如Wiki、共享文档、实验管理平台)
- 所有成员理解“假设”与“事实”在证据强度上的差异
操作步骤
- 明确实验目标:用一句话描述“我们希望通过实验了解什么”。
- 生成初始假设:基于业务洞察、用户研究或已有数据,列出所有可能的因果猜想。
- 转化为假设清单条目:每个假设包含“如果……那么……因为……”三段结构。
- 标记证据类型:区分当前该假设属于“待验证的假设”还是“已知事实”。
- 评审并排序:按先验概率、影响范围、验证成本对假设清单条目进行优先级排序。
- 固化第一版假设清单:输出版本号、责任人、创建时间,作为后续实验设计的输入。
输入输出物
| 类型 | 内容描述 | 格式示例 |
|---|---|---|
| 输入 | 问题陈述、业务背景、用户反馈、初步数据洞察 | 文档/幻灯片/原始数据 |
| 输出 | 第一版假设清单(含假设ID、描述、证据状态、优先级) | 结构化表格(Excel/Notion/数据库) |
责任边界
- 实验负责人:组织假设生成会议,确保清单覆盖所有主要备选解释。
- 业务方:提供领域知识与预期效果方向,但不得预设结论。
- 数据/算法工程师:评估假设的可操作性(能否被实验检验)。
- 评审委员会/PM:在假设清单中标记高风险或高成本假设,决定是否提前排除。
记录材料
| 记录项 | 必需字段 | 示例值 |
|---|---|---|
| 假设条目 | ID、假设描述、证据状态、责任人、创建时间、优先级 | H-001 / 若提高按钮对比度,则CTR提升2% / 待验证 / 张三 / 2025-01-10 / P0 |
| 版本日志 | 版本号、变更内容、变更人、时间 | v1.0 / 初始清单创建 / 李四 / 2025-01-11 |
| 讨论纪要 | 联系人、争议焦点、决议 | 王五 / 假设H-003与H-004是否互斥 / 合并为H-005 |
异常处理
- 假设过多:超过20条时,优先使用四象限法(影响×置信度)快速收敛。
- 假设与事实混淆:用“已知证据”列标注来源(如公开报告、历史实验数据),并移入“事实清单”单独管理。
- 缺少可测量指标:返回前置条件阶段,补充指标定义后再继续。
- 团队对假设优先级分歧:执行匿名加权投票,或使用“实验成本-预期收益”矩阵量化。
- 假设清单版本混乱:建立唯一归档库,所有更新必须通知全体参与者。
验收标准
- 假设清单至少包含5条结构完整的假设(如果…那么…因为…)。
- 每一条假设均被标记为“假设”或“事实”,且“事实”条目附有验证来源。
- 清单中存在明确的优先级标签(P0~P3或High/Medium/Low)。
- 已指定该假设清单的负责人及审批人。
- 清单已归档为v1.0版本,且团队成员均可访问。
关键认知:假设清单不是“想法收集箱”,而是一个经过优先级排序、证据状态标注、可操作验证的决策前置工具。第一次创建时允许包含不成熟的猜想,但必须明确标记为“待验证”,而不是默认当做事实。