3. A/B测试的流程设计：提出假设、确定指标、设计实验、分配流量、运行实验、分析结果
A/B测试不是简单的“改个按钮颜色看看效果”，而是一套严谨的科学实验流程。只有严格遵循标准步骤，才能保证结论的统计有效性和业务可落地性。本章将拆解A/B测试的六大核心环节，并结合阈值分层策略，说明每一步的协同要点。
3.1 流程总览：六步闭环
标准的A/B测试流程包含六个连续阶段，形成一个从“洞察”到“决策”的闭环。阈值分层技术主要作用于“设计实验”和“分配流量”两个环节，但也会影响指标选取和分析方式。
3.2 第一步：提出假设
假设是实验的起点。一个好的假设必须包含“改变什么”、“预期改变什么”、“为什么这样改变”三个要素。阈值分层视角下的假设，通常与用户分群后的行为差异有关。
| 假设要素 | 示例（电商平台） | 阈值分层关联 |
|---|---|---|
| 自变量（改变） | 将“满200减30”改为“满199减25” | 阈值线从200调整至199，影响高价值用户感知 |
| 因变量（预期） | 客单价提升5%，转化率不下降 | 需分层观察不同客单价区间的用户反应 |
| 因果逻辑 | 降低门槛可减少决策摩擦，但需控制折扣深度 | 阈值附近用户（客单价180-220元）是核心观测群 |
3.3 第二步：确定指标
指标分为三类：核心指标（直接衡量假设是否成立）、辅助指标（解释核心指标变化原因）、护栏指标（监控副作用）。阈值分层实验需要额外关注“阈值穿越率”指标。
- 核心指标（Primary Metric）： 直接对应假设的因变量，如转化率、客单价、人均浏览时长。通常只选1-2个，避免多重比较问题。
- 辅助指标（Secondary Metrics）： 帮助解释核心指标变化的原因，如点击率、加购率、页面跳出率。
- 护栏指标（Guardrail Metrics）： 监控实验是否对业务产生负面影响，如收入下降、用户投诉率上升、页面加载时间增加。
- 阈值穿越率（Threshold Crossing Rate）： 在阈值分层实验中，衡量用户从低阈值区间进入高阈值区间的比例变化，是判断阈值调整效果的关键过程指标。
3.4 第三步：设计实验
实验设计阶段需要确定：变体数量、实验单元、分层策略、样本量计算。阈值分层在此阶段发挥核心作用。
3.4.1 变体设计与阈值分层映射
每个变体对应一个阈值策略。例如：控制组使用“满200减30”，实验组A使用“满199减25”，实验组B使用“满180减20”。每个变体内部，用户按历史客单价被分为若干阈值层。
3.4.2 样本量计算
样本量计算需要输入：基线转化率、最小可检测效应量（MDE）、显著性水平（α）、统计功效（1-β）。阈值分层后，每层的最小样本量需单独计算，因为各层的基线指标和方差不同。
# 使用Python的statsmodels计算单层所需样本量
from statsmodels.stats.power import NormalIndPower
from statsmodels.stats.proportion import proportion_effectsize
# 参数设置
baseline_rate = 0.12 # 阈值层2的基线转化率12%
target_rate = 0.135 # 预期提升至13.5%（相对提升12.5%）
alpha = 0.05 # 显著性水平
power = 0.80 # 统计功效
# 计算效应量
effect_size = proportion_effectsize(baseline_rate, target_rate)
# 计算样本量
n = NormalIndPower().solve_power(
effect_size=effect_size,
alpha=alpha,
power=power,
alternative='two-sided'
)
print(f"每变体所需样本量: {int(n):,} 人")
# 输出: 每变体所需样本量: 12,847 人
3.5 第四步：分配流量
流量分配的核心是“随机化”和“隔离”。阈值分层实验需要额外的分层随机化步骤。
| 分配策略 | 适用场景 | 阈值分层注意事项 |
|---|---|---|
| 完全随机 | 用户同质性高，无显著分层需求 | 不推荐用于阈值实验，可能稀释效应 |
| 分层随机 | 用户异质性高，需保证各层内均衡 | 按历史客单价分层后，每层内再随机分配 |
| 正交分层 | 多实验同时运行，需避免交互干扰 | 阈值实验应独占一层，避免与其他实验交叉 |
| 互斥分层 | 实验间存在强干扰，必须隔离 | 阈值实验与价格类实验必须互斥 |
3.6 第五步：运行实验
实验运行阶段的核心任务是数据采集和质量监控。阈值分层实验需要特别关注“层间流量偏移”问题。
- 数据采集： 确保实验组和控制组的事件埋点完全一致，包括曝光、点击、转化、金额等字段。阈值分层实验需要额外记录用户的历史客单价分层标签。
- 实时监控看板： 建立包含以下维度的监控看板：
- 整体核心指标趋势（日/小时粒度）
- 各阈值层核心指标趋势
- 各阈值层样本量均衡性（预期50/50，实际偏差不应超过2%）
- 护栏指标异常告警
- 层间流量偏移检测： 如果某一阈值层的用户因实验策略改变而迁移到其他层（例如，满199减25导致部分用户从低客单价层进入中客单价层），则需记录偏移量并在分析阶段进行校正。
3.7 第六步：分析结果
分析阶段需要回答三个问题：实验是否有效？效果是否在阈值层间一致？是否存在负向影响？
3.7.1 统计检验流程
- 整体检验： 使用双样本t检验或Z检验，比较控制组与实验组的核心指标均值。计算p值和置信区间。
- 分层检验： 在每个阈值层内重复上述检验，观察效应是否一致。如果某层效应显著而其他层不显著，说明阈值调整对该层用户有特异性影响。
- 交互效应检验： 使用方差分析（ANOVA）或回归模型，检验“变体 × 阈值层”的交互项是否显著。如果交互项显著，说明阈值分层策略确实调节了实验效果。
- 护栏指标检查： 对每个护栏指标进行同样的检验，确保没有不可接受的负向影响。
3.7.2 阈值分层实验的决策矩阵
| 整体结果 | 分层结果 | 决策建议 |
|---|---|---|
| 显著正向 | 各层均正向且一致 | 全量上线 |
| 显著正向 | 仅高客单价层正向，低层无效果 | 仅对高客单价层上线，或调整策略覆盖低层 |
| 不显著 | 某层显著正向，某层显著负向 | 取消实验，重新设计阈值策略（存在抵消效应） |
| 显著负向 | 各层均负向 | 立即下线，回滚至原策略 |
3.8 流程协同总结
A/B测试的六步流程与阈值分层策略的协同，本质上是将“一刀切”的实验升级为“精细化”的实验。每一步的协同要点如下：
- 假设阶段： 明确阈值区间假设，定位目标人群。
- 指标阶段： 增加“阈值穿越率”作为过程指标。
- 设计阶段： 按阈值分层计算样本量，设计分层随机方案。
- 分配阶段： 采用分层随机 + 互斥分层，保证层内均衡。
- 运行阶段： 监控层间流量偏移，防止样本污染。
- 分析阶段： 分层检验 + 交互效应检验，输出精细化决策。
只有将阈值分层思维贯穿整个A/B测试流程，才能真正实现“千人千面”的策略优化，避免因用户异质性导致的结论偏差。