1. 课程导论：什么是 Champion Challenger 试验，阈值分层试验的定义与核心价值，适用业务场景
1.1 什么是 Champion Challenger 试验
Champion Challenger（冠军挑战者）试验是一种结构化的对比测试方法，用于在真实业务环境中持续优化决策策略。其核心思想是：
- Champion（冠军）：当前正在使用的、表现稳定的默认策略或模型。
- Challenger（挑战者）：一个或多个新提出的、期望超越冠军的候选策略或模型。
- 试验机制：将一小部分流量分配给挑战者，将其表现与冠军进行统计对比，若挑战者显著更优则晋升为新冠军。
关键特征： Champion Challenger 试验不是一次性测试，而是一个持续迭代的闭环——冠军永远面临被挑战者取代的风险，从而驱动策略不断进化。
1.2 阈值分层试验的定义
阈值分层试验是 Champion Challenger 框架在连续型决策边界场景下的特殊应用。当策略的决策依赖于某个连续阈值（如信用评分、风险概率、用户活跃度分数）时，阈值分层试验通过将阈值区间划分为多个分层区间，在每个分层内独立运行 Champion vs Challenger 对比。
| 概念 | 传统 A/B 测试 | 阈值分层试验 |
|---|---|---|
| 分组依据 | 随机均匀分流 | 按连续阈值分层 + 每层内随机分流 |
| 策略粒度 | 全局统一策略 | 每层可独立选择 Champion 或 Challenger |
| 统计比较 | 整体均值对比 | 逐层对比，允许局部最优 |
| 典型场景 | UI 改版、文案测试 | 风控阈值、定价策略、模型分数卡 |
1.3 核心价值
阈值分层试验为数据科学团队带来四个不可替代的价值：
- 精细化解耦：不同阈值区间内的用户群体特征差异巨大，分层后可以避免“全局平均”掩盖局部优劣。
- 渐进式部署：挑战者可以先在低风险分层上线，验证效果后再向高风险分层扩展，降低试错成本。
- 持续优化闭环：每个分层独立运行 Champion Challenger 循环，策略可以按层异步迭代，无需全量发布。
- 可解释性：通过观察各层的胜出策略，可以清晰理解“在什么分数段下什么策略更优”，辅助业务决策。
实践提示： 阈值分层试验特别适合处理“分数-决策”类问题。例如在信贷风控中，不同信用分段的用户违约模式不同，全局最优策略往往不是各分段最优策略的简单平均。
1.4 适用业务场景
阈值分层试验并非万能，它在以下三类场景中价值最为突出：
| 场景类别 | 具体案例 | 阈值变量 | 试验目标 |
|---|---|---|---|
| 风控与信用 | 信用卡审批、贷款定价 | 信用评分 / 违约概率 | 在保持坏账率不变的前提下提升通过率 |
| 定价与优惠 | 动态折扣、会员定价 | 用户历史客单价 / 活跃度 | 找到每层用户最优折扣力度，提升转化 |
| 模型分数卡 | 推荐系统、流失预警 | 模型输出分数 / 置信度 | 在不同分数段采用不同干预策略 |
| 运营策略 | Push 推送、短信触达 | 用户近 30 天活跃天数 | 对高活跃和低活跃用户差异化触达 |
1.5 阈值分层试验核心流程
下图展示了阈值分层试验在 Champion Challenger 框架下的完整运行逻辑：
常见误区： 阈值分层试验不是简单地将数据按阈值切分后分别做 A/B 测试。其核心在于分层间的策略独立性——每个分层可以有不同的 Champion 和 Challenger，且各层的试验结果互不影响。如果各层共用同一个挑战者策略，则退化为带协变量调整的 A/B 测试，失去了分层试验的核心优势。
1.6 阈值分层试验 vs 传统 A/B 测试
为了更清晰地理解阈值分层试验的定位，下表从多个维度进行对比：
| 对比维度 | 传统 A/B 测试 | 阈值分层试验 |
|---|---|---|
| 分流单位 | 用户 / 会话随机分配 | 按阈值分层后，每层内随机分配 |
| 策略数量 | 通常 2~3 个全局策略 | 每层可独立配置 Champion + Challenger |
| 统计假设 | 全局处理效应一致 | 允许处理效应随阈值变化 |
| 样本效率 | 全量样本估计一个效应 | 每层样本量减少，需更精细的样本量规划 |
| 部署风险 | 全量上线或全量回滚 | 可逐层渐进上线，风险可控 |
| 适用数据 | 分类变量、离散策略 | 连续型阈值变量 + 离散策略 |
1.7 阈值分层试验的典型架构
在工程实现层面，阈值分层试验通常嵌入在决策服务系统中。下图展示了其软件架构位置：
架构要点： 阈值分层引擎是整个系统的核心。它维护一张“阈值区间 → 试验分组”的映射表，每次请求根据计算出的分数快速定位所属分层，然后在该分层的 Champion 和 Challenger 之间做随机分流。这张映射表支持热更新，使得分层策略可以在不重启服务的情况下动态调整。
1.8 本章小结
- Champion Challenger 试验是一种持续迭代的对比测试框架，冠军策略永远面临被挑战者取代的可能。
- 阈值分层试验将连续阈值变量划分为多个区间，在每个区间内独立运行 Champion Challenger 对比，实现精细化的策略优化。
- 核心价值在于精细化解耦、渐进式部署、持续优化闭环和可解释性。
- 适用场景集中在风控信用、动态定价、模型分数卡和运营策略等具有连续决策边界的业务领域。