4. 试验设计流程：定义目标指标、确定分层变量、设定阈值、分配流量、确定样本量
阈值分层试验（Champion Challenger）的设计流程是确保试验科学性与可复现性的核心骨架。与经典 A/B 测试不同，阈值试验需要额外处理“分层切割”与“边界决策”两个关键环节。本章将按标准流程拆解为五个步骤，并给出每个步骤的输入、输出与常见陷阱。
4.1 流程总览
下图展示了阈值分层试验从业务问题到试验启动的完整设计链路，各步骤之间存在反馈迭代关系。
4.2 步骤①：定义目标指标
目标指标是试验的“裁判标准”，必须与业务目标直接挂钩。阈值分层试验通常需要同时关注三类指标：
| 指标类型 | 作用 | 示例（以推荐系统为例） |
|---|---|---|
| 核心指标 | 衡量试验成败的唯一标准 | 用户次日留存率、人均观看时长 |
| 护栏指标 | 确保试验不损害用户体验 | 用户投诉率、页面加载时间 |
| 过程指标 | 解释核心指标变化的原因 | 点击率、曝光到点击转化率 |
实践建议：阈值试验中，核心指标应具备“对阈值变化敏感”的特性。例如，若阈值是“用户活跃天数≥3天”，则核心指标应能反映该分层下的行为差异，而非全量平均指标。
4.3 步骤②：确定分层变量
分层变量是将用户划分为不同子群体的依据。选择不当会导致分层无效或引入混杂偏差。常见分层变量类型如下：
- 用户属性层：年龄、性别、会员等级、注册时长。
- 行为特征层：历史购买频次、最近一次活跃时间、消费金额分位。
- 环境特征层：设备类型、操作系统、地理区域、网络环境。
选择分层变量时需遵循三个原则：
- 可观测性：变量必须在试验开始前即可获取，不能依赖试验中的行为。
- 稳定性：变量在试验期间不应频繁变化（如“当日是否登录”不适合做分层变量）。
- 业务可解释性：每个分层应能对应一个明确的业务策略或用户画像。
4.4 步骤③：设定阈值
阈值是分层变量的切割点，决定了哪些用户进入 Champion 组、哪些进入 Challenger 组。阈值设定通常有三种方法：
| 方法 | 描述 | 适用场景 |
|---|---|---|
| 业务经验法 | 基于历史运营经验或行业基准直接设定 | 有成熟业务认知、历史数据充足 |
| 数据驱动法 | 通过分位数、聚类或决策树寻找自然切割点 | 数据量大、变量分布复杂 |
| 敏感性分析法 | 在多个候选阈值下模拟试验，选择效应量最稳定的点 | 阈值对结果敏感、需要稳健性验证 |
常见陷阱：阈值设定后，不要使用同一批数据同时进行“阈值选择”和“效果评估”，否则会导致“数据窥探”偏差（Data Snooping Bias）。建议将历史数据划分为训练集（选阈值）和验证集（评估效果）。
4.5 步骤④：分配流量
流量分配决定了每个分层内 Champion 和 Challenger 的用户比例。阈值分层试验的流量分配需同时考虑“层间”和“层内”两个维度。
流量分配策略对比：
| 策略 | 分配方式 | 优点 | 缺点 |
|---|---|---|---|
| 等比例分配 | 每层内 Champion:Challenger = 50:50 | 统计功效最大化 | 小层样本量可能不足 |
| 按层容量分配 | 大层多分流量，小层少分 | 保证每层最小样本量 | 大层效应估计方差增大 |
| 动态分配 | 根据实时结果调整比例 | 减少试错成本 | 需要实时计算，复杂度高 |
流量分配完成后，需确保每个分层内的 Champion 和 Challenger 组在时间维度上同时运行，避免时间效应（如周末效应、促销活动）干扰试验结果。
4.6 步骤⑤：确定样本量
样本量计算是试验设计中最容易被低估的环节。阈值分层试验的样本量需满足两个条件：
- 全局统计功效：整体试验能检测到预设的最小效应量（MDE）。
- 分层统计功效：每个分层内部也能达到可接受的统计功效（通常 ≥ 0.8）。
样本量计算公式（简化版，适用于两样本比例检验）：
n = (Z_α/2 + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)] / (p₂ - p₁)²
其中：
Z_α/2 = 显著性水平 α 对应的 Z 值（α=0.05 时取 1.96）
Z_β = 统计功效 1-β 对应的 Z 值（β=0.2 时取 0.84）
p₁ = Champion 组预期转化率
p₂ = Challenger 组预期转化率（p₂ = p₁ + MDE）
阈值试验样本量特殊注意事项：
1. 若分层变量与核心指标相关性强，分层设计可降低方差，从而减少所需样本量。
2. 若分层变量与核心指标无关，分层设计不会减少样本量，反而因多重比较增加校正负担。
3. 建议在计算样本量时，对最小分层（用户数最少的那一层）单独计算，确保该层也能达到统计功效要求。
1. 若分层变量与核心指标相关性强，分层设计可降低方差，从而减少所需样本量。
2. 若分层变量与核心指标无关，分层设计不会减少样本量，反而因多重比较增加校正负担。
3. 建议在计算样本量时，对最小分层（用户数最少的那一层）单独计算，确保该层也能达到统计功效要求。
4.7 设计流程检查清单
在启动试验前，建议逐项核对以下清单：
| 序号 | 检查项 | 完成状态 |
|---|---|---|
| 1 | 核心指标是否唯一且可量化？ | □ |
| 2 | 护栏指标是否覆盖主要风险？ | □ |
| 3 | 分层变量是否在试验前可观测且稳定？ | □ |
| 4 | 阈值是否基于独立数据（非试验数据）确定？ | □ |
| 5 | 流量分配是否保证每层最小样本量？ | □ |
| 6 | 样本量计算是否覆盖最小分层？ | □ |
| 7 | 是否预留了 10%-20% 的流量作为“空跑”对照组？ | □ |