第1章 实验设计基础SOP：定义实验目标、明确核心假设、确定关键变量、设定成功标准
本章定位：实验设计的“地基”步骤，所有后续分析、执行、复盘都依赖此阶段的清晰定义。跳过或草率完成此步骤，会导致实验结论不可信、无法重复或浪费资源。
1. 适用场景
- 任何需要量化验证因果关系的实验，包括A/B测试、对照实验、参数调优、工艺对比。
- 团队首次进入新领域或新产品特性验证时，必须执行本标准流程。
- 已有实验因目标模糊、假设不明确导致失败，需要返工时优先补充此步骤。
2. 前置条件
| 序号 | 条件 | 检查标准 |
|---|---|---|
| 1 | 业务背景文档 | 包含当前问题描述、决策上下文、利益相关方期望 |
| 2 | 可获取数据源清单 | 明确可采集什么指标、频率、粒度 |
| 3 | 初步假设列表 | 至少3条未验证的因果猜想，且每条与业务目标挂钩 |
| 4 | 实验预算/资源评估 | 可投入的样本量、时间周期、计算/人力成本 |
常见陷阱：在“前置条件”不满足时强行开始设计，例如没有数据源清单就定义指标，后期发现无法采集关键变量，导致实验作废。
3. 操作步骤
- 定义实验目标（用SMART原则填空）：
- “通过实现［变化后的指标值］，在［特定时间窗口］内为［业务单元］带来［具体可量化结果］”。
- 例：通过将推荐算法切换为模型V2，在2周内为首页模块提升点击率至少5%。
- 明确核心假设（形如“如果改变X，会导致Y发生Z变化”）：
- 必须包含自变量X、因变量Y、预期效应方向Z。
- 例：“将按钮颜色从蓝色改为红色（X），会使注册转化率（Y）提高不低于8%（Z）。”
- 确定关键变量（分类记录）：
- 自变量（操纵变量）：实验组与对照组的差异化因素。
- 因变量（响应变量）：用于衡量效果的核心指标。
- 控制变量（常量）：需保持不变的潜在干扰因素。
- 环境变量（分区变量）：如用户群、时段、设备类型，用于分层分析。
- 设定成功标准：
- 明确“接受”或“拒绝”假设的统计边界（显著性水平α、统计功效1-β、最小可检测效应量MDE）。
- 例：α=0.05，β=0.2（功效80%），MDE=5%相对提升。
- 记录基线值：当前指标水平，作为计算样本量的依据。
4. 输入输出物
| 输入 | 输出 |
|---|---|
| • 业务需求文档 • 数据字典 • 初步假设笔记 | • 实验设计手册（含目标声明、假设语句、变量表、成功标准） • 样本量计算表 • 利益相关方确认签名 |
5. 责任边界
| 角色 | 责任 |
|---|---|
| 实验负责人 | 主持步骤执行、编写实验设计手册、协调利益相关方确认 |
| 领域专家/产品经理 | 提供业务目标、假设方向和成功标准的业务合理性判断 |
| 数据分析师 | 提供基线数据、样本量计算、统计边界建议、数据可用性检查 |
| 工程/开发 | 确认自变量可实施干预的工程可行性、评估资源与时间 |
| 审核方（如合规/安全） | 检查实验对用户隐私、系统稳定性的影响，给出放行意见 |
6. 记录材料
- 实验设计手册（版本化文档，含所有步骤的决策记录）。
- 变量定义表（Excel或Google Sheets），字段包括：变量名、类型（自变量/因变量/控制变量/环境变量）、尺度、取值范围、数据源、计算逻辑。
- 会议纪要：包含利益相关方对齐讨论中的争议点、最终决定及理由。
- 签名/审批记录：证明实验设计已被授权执行。
7. 异常处理
| 异常场景 | 处理策略 |
|---|---|
| 利益相关方对目标存在分歧 | 组织专门“目标对齐会议”，使用决策矩阵打分，优先满足最高价值需求；若仍无法一致，升级至项目发起人仲裁 |
| 关键数据无法获取或质量差 | 退回至“前置条件”检查，补充数据采集方案或选择替代指标；若必须依赖现有数据，需在实验设计手册中注明风险 |
| 样本量计算显示不可行 | 调整MDE（增大效应量要求）、延长实验周期、或重新评估实验必要性；与业务方协商降低精度要求 |
| 假设与已有结论矛盾 | 审查文献/历史实验记录，确认是否应放弃假设；若坚持测试，需注明“颠覆性假设”并加强监控 |
8. 验收标准
- 实验目标声明通过SMART原则自检，并获得至少3位核心利益相关方书面确认。
- 核心假设以“如果…那么…因为…”格式书写，且包含明确的方向性（提升/降低/维持）和定量预期。
- 关键变量表中，每个变量均标注类型、数据来源、测量方式，且无遗漏（特别是控制变量需列出至少5项）。
- 成功标准包含显著性水平α、功效1-β、最小可检测效应量MDE，并附上样本量计算结果（公式或代码截图）。
- 所有记录材料（实验设计手册、变量定义表、会议纪要、审批记录）齐全并归档至指定项目空间。
交付物检查清单：在进入下一章之前，请确认你已经完成以下所有项目：
- ☐ 实验目标被业务方和数据分析师共同确认，且写在实验设计手册第一页。
- ☐ 核心假设使用“如果改变X，Y会发生Z变化”格式书写，并附带预期方向。
- ☐ 变量定义表已列出至少5个控制变量，并注明如何保持恒定。
- ☐ 成功标准包含α、β、MDE和样本量计算结果。
- ☐ 所有异常处理场景的应对策略已写入手册附录。