3. 实验变量与版本设计

3.1 用户场景与业务问题

某电商产品经理小张接到一个需求：通过优化商品详情页的「加入购物车」按钮，将详情页到购物车的转化率提升 15%。小张面临多个可调维度——按钮颜色（蓝/绿）、文案（加入购物车/立即购买）、按钮尺寸（标准/加大）。

3.2 核心概念：控制组、实验组与变量类型

控制组（Control） 保持现有版本不变，作为衡量变化的基线。实验组（Treatment） 在控制组基础上引入一个（或多个）变量变化。两组用户同时运行，通过结果对比推断变量效果。

变量类型 是实验设计的核心元素，分为三类：

3.3 单一变量原则：因果推断的基石

单一变量原则（One Variable at a Time, OVAT）要求每次实验只改变一个自变量，其他所有条件保持不变。这是建立因果关系的黄金标准。

为什么必须坚持？

• 隔离归因：效果变化可唯一归因于改变的变量
• 统计置信：降低方差，提升统计功效
• 可复现：实验条件透明，他人可复现验证

电商案例应用：

• 实验1：控制组（蓝色按钮），实验组（绿色按钮），文案不变 → 测试颜色影响
• 实验2：控制组（「加入购物车」），实验组（「立即购买」），颜色不变 → 测试文案影响
• 两次实验独立运行，结论可叠加使用

3.4 多变量与多臂实验的适用条件

当业务场景需要同时验证多个假设，或比较多个候选方案时，可以突破单一变量原则，但需满足特定条件。

多臂实验示例：同时测试 4 种按钮颜色（蓝、绿、红、橙），每个版本分配 25% 流量，找出点击率最高的颜色。

多变量实验示例：2（颜色：蓝/绿）× 2（文案：加购/立即购买）= 4 个组合版本，需要全因子设计，样本量是单一变量的 4 倍。

3.5 实验方案设计与指标定义

方案设计四步骤：

1. 拆解需求：将业务目标「提升加购转化率」拆解为可验证的变量假设
2. 确定变量：选择单一自变量（如按钮颜色），明确控制变量清单
3. 定义版本：控制组为当前版本，实验组仅变更目标变量
4. 分配流量：50% 控制组 / 50% 实验组，保证组间用户特征均衡

核心指标定义：

主指标（Primary Metric）：
  加购转化率 = 点击「加入购物车」用户数 / 实验组总用户数 × 100%

护栏指标（Guardrail Metric）：
  页面跳出率 = 未点击任何按钮即离开的用户数 / 实验组总用户数 × 100%
  下单转化率 = 完成支付的用户数 / 实验组总用户数 × 100%

相对提升 = (实验组转化率 - 控制组转化率) / 控制组转化率 × 100%

3.6 用户旅程与原型说明

用户分流旅程：

1. 用户请求商品详情页
2. 后端基于 user_id 或 cookie 的 hash 值进行 50/50 随机分流
3. 控制组用户看到现有页面版本（蓝色按钮 +「加入购物车」）
4. 实验组用户看到变更版本（绿色按钮 +「加入购物车」，仅颜色变化）
5. 用户行为数据（点击、停留、加购、支付）被埋点采集
6. 实验结束后进行数据聚合与统计分析

原型差异说明：

3.7 结果验证与验收标准

统计验证方法：

• 假设检验：双样本 z 检验或 t 检验，α = 0.05，检验实验组转化率是否显著高于控制组
• 置信区间：计算转化率差值的 95% 置信区间，不含 0 则显著
• 最小样本量：预计算所需样本量，确保实验运行天数足够

验收标准（示例）：

1. 主指标：加购转化率相对提升 ≥ 10%，且 p 值 < 0.05
2. 护栏指标：页面跳出率相对变化 ≤ 5%，不显著恶化
3. 经济指标：单用户营收（ARPU）不下降
4. 运行时长：至少覆盖 7 天（含周末），排除节假日效应

结果决策矩阵：