3. 阈值分层原理：基于用户行为/属性分数设定阈值
阈值分层是 Champion Challenger 试验中最常用的用户分组策略之一。其核心思想是：根据用户的行为数据或属性特征计算一个综合分数，然后按照预设的阈值将用户划分为高、中、低风险或价值层。每一层的用户具有相似的业务特征，从而可以在不同层内独立运行试验，避免跨层干扰。
3.1 为什么需要阈值分层？
在真实业务场景中，用户群体并非同质化。直接对全体用户进行 A/B 测试，往往会出现以下问题：
- 辛普森悖论：整体效果与分层效果相反，导致决策错误。
- 效果稀释：高价值用户的提升被低价值用户的负向表现掩盖。
- 统计灵敏度不足：极端用户（如超高活跃度）的方差过大，掩盖了中等用户的真实差异。
阈值分层通过将用户按分数“切分”成同质层，使得每一层内的用户行为更一致，从而提升试验的统计效力和可解释性。
3.2 阈值分层的核心流程
阈值分层的实施通常包含以下四个步骤：
- 定义分数模型：选择用户行为或属性特征，构建评分公式（如 RFM 模型、风险评分卡、活跃度指数）。
- 计算用户分数：对每个用户计算其综合得分。
- 设定阈值：根据业务目标或数据分布，确定分层边界。
- 分配试验：在每个层内独立进行 Champion/Challenger 随机分组。
关键原则：阈值必须在试验开始前确定，且不能根据试验结果动态调整。否则会导致“数据窥探”偏差，破坏统计推断的有效性。
3.3 阈值设定方法对比
不同的阈值设定方法适用于不同的业务场景。下表总结了三种常用方法及其适用条件：
| 方法 | 描述 | 适用场景 | 优点 | 缺点 |
|---|---|---|---|---|
| 等宽分箱 | 将分数范围等分为若干区间 | 分数分布均匀，无极端值 | 实现简单，易于解释 | 对异常值敏感，可能导致某些层样本过少 |
| 分位数分箱 | 按分数排序后，按百分位数切分 | 分数分布偏斜，需要保证每层样本量均衡 | 每层样本量一致，统计效力稳定 | 阈值点可能落在分数密集区，区分度不足 |
| 业务规则分箱 | 基于业务经验或监管要求设定阈值 | 有明确的业务标准（如信用评分、风险等级） | 业务可解释性强，符合合规要求 | 主观性强，可能不是最优统计切分点 |
3.4 阈值分层示意图
下图展示了基于用户活跃度分数进行三层分组的完整流程：
3.5 阈值分层的业务应用示例
以下是一个电商平台使用 RFM 分数进行阈值分层的实际案例：
- R（Recency）：最近一次购买距今天数，越短得分越高。
- F（Frequency）：过去 90 天购买次数，次数越多得分越高。
- M（Monetary）：过去 90 天消费金额，金额越高得分越高。
综合 RFM 分数后，设定阈值：
| 分层 | RFM 分数区间 | 用户占比 | 试验策略 |
|---|---|---|---|
| 高价值层 | ≥ 80 | 15% | 测试高端会员权益、专属折扣 |
| 中价值层 | 40 ~ 79 | 55% | 测试常规促销、推荐算法优化 |
| 低价值层 | < 40 | 30% | 测试唤醒策略、新用户引导 |
实践建议：在设定阈值时，建议先进行探索性数据分析（EDA），绘制分数分布直方图。避免将阈值设定在分数分布的“尖峰”处，否则会导致分层边界附近的用户被随机分配到不同层，增加层内方差。
3.6 阈值分层的注意事项
常见陷阱：
- 阈值泄露：在试验过程中，如果用户分数发生变化（如活跃度提升），不应将其重新分配到其他层。分层应在试验开始前一次性完成。
- 层间样本不平衡：如果某一层样本量过小（如 < 1000），统计检验效力会严重不足。此时应考虑合并相邻层或使用分位数分箱保证样本量。
- 分数模型过时：用户行为模式会随时间变化，建议定期（如每季度）重新校准分数模型和阈值。
3.7 阈值分层的统计优势
与不分层的全局试验相比，阈值分层在以下方面具有显著优势：
| 维度 | 全局试验 | 阈值分层试验 |
|---|---|---|
| 方差控制 | 层间方差混入误差项 | 层间方差被剥离，误差项更小 |
| 统计效力 | 需要更大样本量才能检测到相同效应量 | 同等样本量下，检测灵敏度更高 |
| 结果可解释性 | 只能回答“整体是否有效” | 可以回答“对哪类用户有效” |
| 决策粒度 | 全量上线或全量回滚 | 可针对不同层采取不同策略 |
阈值分层是 Champion Challenger 试验中实现“精细化试验”的基础工具。通过合理的分数模型和阈值设定，你可以在控制统计风险的同时，获得更具业务洞察的试验结果。