3. 实验角色：Champion（冠军模型）与 Challenger（挑战者模型）的定义、职责与区别
在 Champion Challenger 实验体系中，Champion（冠军模型）与 Challenger（挑战者模型）是两个核心角色。它们并非简单的“新旧模型”对比，而是承载着不同的职责、评估标准和生命周期管理策略。理解这两个角色的定义与区别，是设计稳健实验框架的前提。
3.1 Champion（冠军模型）
定义：Champion 是当前在生产环境中正式运行、为业务提供决策服务的模型。它经过了严格的离线评估与在线验证，是业务当前依赖的“黄金标准”。
核心职责：
- 稳定产出：持续、可靠地处理线上流量，保证预测结果的准确性与一致性。
- 业务基线：作为所有 Challenger 模型的性能基准（Baseline）。任何 Challenger 必须显著超越 Champion 的关键指标，才有资格被考虑替换。
- 风险兜底：当 Challenger 实验失败或出现异常时，Champion 作为回滚目标，确保业务不受影响。
- 监控告警：Champion 的在线性能指标（如延迟、吞吐量、AUC、业务转化率）需要被持续监控，一旦出现衰减，立即触发告警并启动排查。
实践要点：Champion 并非“永不更新”。当 Challenger 通过实验验证并正式上线后，该 Challenger 会晋升为新的 Champion，原 Champion 则退役归档。这是一个持续迭代的闭环。
3.2 Challenger（挑战者模型）
定义：Challenger 是待验证的候选模型，它可能基于新算法、新特征、新数据源或新架构构建。Challenger 在受控的实验环境中与 Champion 进行对比，以证明其优越性。
核心职责：
- 提出假设：每个 Challenger 都应基于一个明确的业务或技术假设（例如：“加入用户实时行为特征后，CTR 预估提升 5%”）。
- 离线验证：在进入在线实验前，Challenger 必须通过严格的离线评估（如时间序列交叉验证、AUC、LogLoss、KS 等指标），确保其具备基本的竞争力。
- 在线实验：在 Champion 的流量中切分一小部分（通常 5%-20%）给 Challenger，通过 A/B 测试或 Interleaving 实验收集真实业务反馈。
- 结果汇报：实验结束后，Challenger 需要输出完整的实验报告，包括与 Champion 的指标对比、统计显著性检验结果、资源消耗对比等。
常见误区：不要将 Challenger 视为“一定会赢”的角色。大多数 Challenger 在实验中会失败，这是正常的。实验的目的不是证明 Challenger 更好，而是客观评估其是否真的更好。频繁失败的 Challenger 实验，往往意味着特征工程或模型选择方向需要调整。
3.3 Champion 与 Challenger 的核心区别
下表从多个维度对比两个角色的差异，帮助你在实际项目中快速定位职责：
| 对比维度 | Champion（冠军模型） | Challenger（挑战者模型） |
|---|---|---|
| 状态 | 生产环境正式运行 | 实验环境待验证 |
| 流量占比 | 80% - 100% | 0% - 20% |
| 评估标准 | 稳定性、延迟、长期业务指标 | 相对 Champion 的指标提升、统计显著性 |
| 变更频率 | 低（月/季度级别） | 高（周/日级别） |
| 失败容忍度 | 极低（必须稳定） | 高（允许失败，用于探索） |
| 资源投入 | 高（全量部署、监控、运维） | 中（实验环境、流量切分、日志收集） |
| 生命周期终点 | 被新的 Champion 替换并归档 | 晋升为 Champion 或淘汰 |
3.4 角色关系与实验流程
下图展示了 Champion 与 Challenger 在实验生命周期中的交互关系：
3.5 角色切换：从 Challenger 到 Champion
当一个 Challenger 在实验中胜出时，需要经过以下步骤才能晋升为新的 Champion：
- 实验确认：确保 Challenger 在多个实验周期（如 7 天、14 天）中持续优于 Champion，且 p-value < 0.05。
- 压力测试：在预发环境中对 Challenger 进行全量流量压测，验证其延迟和吞吐量满足生产要求。
- 灰度发布：逐步将流量从 Champion 切换到 Challenger（如 10% → 30% → 50% → 100%），每个阶段观察 24-48 小时。
- 正式晋升：Challenger 接管全部流量，成为新的 Champion。原 Champion 进入模型仓库归档，保留其代码、配置和实验报告。
关键原则：晋升过程必须可逆。如果在灰度阶段发现 Challenger 存在未预见的副作用（如导致下游系统超时），应立即回滚到 Champion，并分析原因。
3.6 多 Challenger 并行管理
在实际项目中，通常会有多个 Challenger 同时进行实验。为了避免流量冲突和实验干扰，需要遵循以下管理策略：
- 流量隔离：每个 Challenger 使用独立的流量桶（Bucket），确保实验之间互不干扰。
- 优先级排序：根据假设的重要性和预期收益，为 Challenger 分配优先级。高优先级的 Challenger 优先获得流量。
- 实验时长统一：所有 Challenger 的实验周期应保持一致（如 7 天），避免因时间窗口不同导致对比偏差。
- 结果透明：建立统一的实验看板，实时展示每个 Challenger 与 Champion 的指标对比，方便团队快速决策。
通过清晰定义 Champion 与 Challenger 的角色、职责和切换流程，你可以构建一个高效、可复用的实验体系，让模型迭代从“凭感觉”走向“靠数据”。