3. Champion Challenger 核心术语
在策略版本管理中，Champion Challenger 是一套严谨的在线对比实验框架。要正确搭建并解读实验，必须首先掌握以下四个核心术语：Champion（冠军策略）、Challenger（挑战者策略）、流量分桶和评估指标。它们是整个实验体系的基石。
3.1 Champion（冠军策略）
Champion 是当前线上生产环境中正在运行的、表现经过验证的“最优”策略版本。它作为实验的基准对照组，代表了当前业务效果的上限。
- 角色定位：实验中的对照组（Control Group），是衡量 Challenger 好坏的标尺。
- 状态：稳定、全量部署、经过历史数据验证。
- 更新时机：只有当 Challenger 在统计上显著优于 Champion 时，才会被替换。
实践要点：Champion 并非一成不变。当 Challenger 胜出后，它会被晋升为新的 Champion，形成“挑战-晋升-再挑战”的持续迭代闭环。
3.2 Challenger（挑战者策略）
Challenger 是待验证的新策略版本。它基于 Champion 进行优化或重构，通过分桶实验与 Champion 进行对比，以验证其是否带来正向收益。
- 角色定位：实验中的实验组（Treatment Group），是潜在的“新冠军”。
- 状态：实验性、小流量、待验证。
- 数量：一次实验可以同时有多个 Challenger（如 A/B/C 三个版本），但每个 Challenger 独立与 Champion 对比。
常见误区：不要同时让多个 Challenger 之间直接对比。Champion Challenger 框架的核心是“每个 Challenger 与 Champion 对比”，而非 Challenger 之间的横向比较。多版本对比应使用 A/B/n 测试框架。
3.3 流量分桶
流量分桶是将线上用户流量按照一定规则（如用户 ID 哈希、随机数）均匀、稳定地分配到 Champion 和 Challenger 实验组的过程。它是保证实验科学性的关键。
| 分桶维度 | 说明 | 典型分配比例 |
|---|---|---|
| 用户分桶 | 以用户 ID 为粒度，同一用户始终进入同一实验组，保证用户体验一致性。 | Champion: 70% Challenger: 30% |
| 请求分桶 | 以每次请求为粒度，同一用户的不同请求可能进入不同组。适用于无状态场景。 | Champion: 50% Challenger: 50% |
| 分层分桶 | 将流量划分为多个独立层，每层可运行不同实验，互不干扰。 | 每层独立分配 |
分桶核心原则：
1. 稳定性：同一用户（或同一实体）在实验期间应始终进入同一桶，避免“污染”。
2. 均匀性：各桶的用户特征分布应尽可能一致，减少选择偏差。
3. 独立性：不同实验之间应通过分层分桶隔离，避免交互效应。
1. 稳定性：同一用户（或同一实体）在实验期间应始终进入同一桶，避免“污染”。
2. 均匀性：各桶的用户特征分布应尽可能一致，减少选择偏差。
3. 独立性：不同实验之间应通过分层分桶隔离，避免交互效应。
3.4 评估指标
评估指标是判断 Challenger 是否优于 Champion 的量化标准。指标的选择直接决定了实验结论的可靠性。通常分为三类：
| 指标类型 | 示例 | 作用 |
|---|---|---|
| 核心业务指标 | 点击率（CTR）、转化率（CVR）、客单价（ARPU） | 直接衡量策略对业务目标的影响，是决策的主要依据。 |
| 辅助诊断指标 | 曝光量、点击量、停留时长、跳出率 | 帮助分析核心指标变化的原因，定位策略效果差异的来源。 |
| 负向监控指标 | 用户投诉率、系统延迟、资源消耗 | 确保策略在提升核心指标的同时，不带来不可接受的副作用。 |
指标选择原则：
- 可衡量：指标必须能够被准确、稳定地采集和计算。
- 可行动：指标变化能直接指导策略迭代方向。
- 抗干扰：避免选择容易被外部因素（如节假日、促销活动）剧烈波动的指标。
- 统计显著性：在实验前进行样本量估算，确保实验周期内能检测到预期效果。
- 可衡量：指标必须能够被准确、稳定地采集和计算。
- 可行动：指标变化能直接指导策略迭代方向。
- 抗干扰：避免选择容易被外部因素（如节假日、促销活动）剧烈波动的指标。
- 统计显著性：在实验前进行样本量估算，确保实验周期内能检测到预期效果。
3.5 术语关系总结
四个核心术语构成了 Champion Challenger 实验的完整闭环：
- Champion 作为基准，承载大部分流量；
- Challenger 作为候选，承载小部分流量；
- 流量分桶 确保两组用户特征可比，实验结论可信；
- 评估指标 提供量化依据，决定 Challenger 是否晋升为新的 Champion。
一句话记忆：Champion 是“守擂者”，Challenger 是“攻擂者”，流量分桶是“公平擂台”，评估指标是“裁判打分”。四者缺一不可。