第4章 实验设计SOP：变量定义、控制组与实验组设计、实验时长确定、随机化方法

实验设计是A/B测试从规划走向执行的关键桥梁。变量定义模糊、分组方案不严谨、时长估算随意、随机化方法错误，都会直接导致实验结果不可信。本章将四个核心环节固化为标准操作流程（SOP），确保每次实验在设计阶段就具备统计可靠性和业务可解释性。

1. 适用场景

实验设计SOP适用于以下典型场景，确保实验开始前所有设计要素已对齐：

• 产品功能改动：新功能上线、UI/UX改版、交互流程优化等需要验证对核心指标的影响时。
• 算法与策略对比：推荐算法、排序策略、定价模型等需要在多个候选方案中选出最优时。
• 运营策略评估：推送时机、优惠券面额、文案风格等运营手段需要量化效果时。
• 基础设施迁移：技术架构升级、第三方服务替换等需要验证稳定性和性能时。

2. 前置条件

在进入实验设计前，必须完成以下准备：

1. 实验目标已明确：业务方与数据团队共同确认实验要验证的核心假设。
2. 核心指标已定义：至少确定1个主要指标和2～3个次要指标，指标可量化、可采集。
3. 基线数据已就绪：实验前至少2周的历史数据可用，用于样本量计算和效果对比。
4. 实验平台已可用：A/B测试平台或自研分流系统已完成功能验证。
5. 相关方已对齐：产品、技术、数据、运营等团队已确认实验计划和时间窗口。

3. 操作步骤

3.1 变量定义

变量定义是实验设计的起点，必须清晰区分自变量与因变量，并确保每个变量可测量、可追溯。

1. 识别自变量：确定实验中将要做修改的变量（如按钮颜色、推荐策略版本、推送文案）。
2. 定义因变量：确定用于衡量实验效果的指标（如点击率、转化率、留存率、GMV）。
3. 明确变量类型：区分二值变量（是否点击）、连续变量（停留时长）、分类变量（渠道来源）。
4. 确定测量方式：数据采集埋点是否到位，指标计算口径是否与基线保持一致。

3.2 控制组与实验组设计

控制组反映“不做改变”的基准表现，实验组施加单一干预变量，两组必须保持组间唯一差异。

1. 确定分组数量：常规为2组（控制组+实验组），多变量测试可增加至3～4组，但每组需满足最小样本量。
2. 设定分组比例：常用50/50均衡分组；高风险实验可用90/10（控制组90%）降低风险；小流量实验可用10/90（实验组10%）快速验证。
3. 确保唯一差异：除自变量外，两组在用户群、版本、策略、数据采集等方面完全一致。

3.3 实验时长确定

实验时长不足是A/B测试失效的首要原因。必须基于统计计算和业务节奏确定最短运行时间。

1. 计算最小样本量：根据预期效应量（如转化率提升5%）、显著性水平（α=0.05）、统计功效（1-β=0.8）计算每组所需样本量。
2. 估算所需天数：最小样本量 ÷ 日均流量 = 最少运行天数，再向上取整。
3. 覆盖完整周期：至少运行7天，覆盖周末和工作日；若业务有季节性（如周末效应、月初效应），需延长至14天或21天。
4. 设置最短硬约束：任何实验不得少于3天，否则无法排除日间波动。

3.4 随机化方法

随机化是保证两组在实验开始前无系统性偏差的核心手段，错误的方法会导致选择偏差和辛普森悖论。

1. 选择随机化单元：用户级随机化（一个用户始终在同一个组）最常用；会话级随机化适用于登录态不强的场景；设备级随机化用于硬件或系统级实验。
2. 实施随机化分配：使用哈希取模（如user_id % 100 < 50）、随机数生成器或平台内置分流算法。
3. 验证随机化均匀性：实验开始前，检查两组在历史指标（如过去7天的转化率、活跃度）上是否有显著差异（p > 0.05）。
4. 防止跨组污染：确保同一个用户不会同时进入控制组和实验组，避免社交传播导致的组间干扰。

4. 输入输出物

步骤	输入物	输出物
变量定义	实验目标文档、埋点数据字典	变量定义表（自变量/因变量名称、类型、测量口径）
控制组与实验组设计	变量定义表、流量容量评估报告	分组方案（分组编号、比例、唯一差异说明）
实验时长确定	历史流量数据、最小样本量计算结果	实验时长计划（起止时间、最短天数、覆盖周期说明）
随机化方法	用户ID/设备ID列表、历史基线指标数据	随机化策略文档（单元类型、分配算法、均匀性验证报告）

5. 责任边界

角色	职责
数据分析师	主导变量定义、样本量计算、随机化验证；输出实验设计文档。
产品经理	提供实验目标和业务假设；确认自变量和因变量的业务含义。
开发工程师	按分组方案实施实验配置；确保随机化分配代码正确。
QA工程师	验证分组比例、随机化均匀性、数据埋点准确性。
项目负责人	审核实验设计文档，协调资源，审批实验启动。

6. 记录材料

实验设计阶段需归档以下材料，作为后续实验评审和复盘的依据：

• 实验设计文档：包含实验名称、目标、假设、变量定义、分组方案、时长计划、随机化策略。
• 变量定义表：Excel或CSV格式，列出自变量/因变量名称、类型、测量口径、数据来源。
• 样本量计算过程：使用的效应量、显著性水平、统计功效、计算工具及结果截图。
• 随机化均匀性验证报告：基线指标对比表、p值、是否通过验证的结论。
• 审批记录：项目负责人签字或邮件确认的实验设计评审意见。

7. 异常处理

异常情形	可能原因	处理方式
变量定义模糊	自变量与因变量未区分，或测量口径不统一	回退至业务目标重新梳理，联合产品与数据团队明确变量定义，更新变量定义表。
分组比例与预期不符	随机化算法实现错误，或流量分配配置有误	立即暂停实验，排查分流代码与配置，修正后重新验证均匀性。
最小样本量远超日均流量	效应量预估过小，或流量容量不足	增大效应量预期（如从3%调整为5%），或延长实验时长，或放宽显著性水平。
随机化均匀性未通过	用户ID存在模式缺陷，或基线数据窗口过短	更换哈希算法或随机种子，延长基线数据窗口至14天，重新验证。
实验时长与业务计划冲突	产品发版窗口与实验最短时长不匹配	协商调整发版计划，或选择更高流量的实验方案，或暂停实验等待下一窗口。

8. 验收标准

实验设计完成前，必须逐项核对以下检查清单，全部通过方可进入实验执行阶段：

• ☐ 变量定义表完整，自变量与因变量清晰可测量。
• ☐ 控制组与实验组设计明确，组间唯一差异已说明。
• ☐ 实验时长满足最小样本量要求，且覆盖完整业务周期。
• ☐ 随机化方法已选定，单元类型合理，均匀性验证通过（p > 0.05）。
• ☐ 实验设计文档已编写完成，包含所有必要章节。
• ☐ 所有相关角色已确认各自责任边界，无职责遗漏。
• ☐ 异常处理方案已记录，关键风险已有应对策略。
• ☐ 记录材料已归档至指定存储位置，可供评审查阅。