4. Champion 模型定义：如何定义当前线上最优模型
在 Champion / Challenger 分流体系中，Champion 模型 是当前线上流量默认路由的生产模型，也是所有 Challenger 候选模型需要超越的基准。本章将系统讲解 Champion 的定义标准、评估指标与基线建立方法，确保后续分流实验有可量化的比较锚点。
4.1 Champion 模型的定义标准
Champion 并非“最近一次上线的模型”，而是经过严格评估后，在业务核心指标上表现稳定且优于其他候选的模型。定义 Champion 需满足以下条件：
- 业务对齐：模型优化目标与业务 KPI（如转化率、留存率、收入）直接挂钩。
- 统计显著性：在 A/B 测试中，Champion 相比前一代模型或基线策略，在主要指标上达到 95% 置信水平。
- 稳定性验证：在至少一个完整业务周期（如 7 天或 14 天）内，指标波动在可接受范围内，无异常抖动。
- 可复现性：模型在离线回测与在线小流量实验中表现一致，不存在过拟合或数据泄露。
关键原则：Champion 是“当前已知最优”，而非“绝对最优”。随着数据分布变化或新算法出现，Champion 需要定期重新评估与替换。
4.2 模型评估指标体系
评估指标需覆盖模型效果、稳定性与业务影响三个维度。下表列出推荐的核心指标分类：
| 维度 | 指标名称 | 计算方式 | 说明 |
|---|---|---|---|
| 效果 | AUC / LogLoss | 离线测试集计算 | 模型区分正负样本的能力 |
| 效果 | 转化率 (CVR) | 转化数 / 曝光数 | 业务核心指标，需做统计检验 |
| 效果 | 平均订单价值 (AOV) | 总收入 / 订单数 | 衡量模型对客单价的影响 |
| 稳定性 | PSI (群体稳定性指标) | ∑(实际占比 - 预期占比) * ln(实际/预期) | PSI < 0.1 表示稳定 |
| 稳定性 | 日波动系数 | 标准差 / 均值 | 衡量指标日间波动幅度 |
| 业务 | 收入提升百分比 | (实验组收入 - 对照组收入) / 对照组收入 | 直接反映商业价值 |
| 业务 | 用户满意度 (NPS) | 问卷调查或隐式反馈 | 防止模型过度追求短期指标 |
建议：每个 Champion 模型至少绑定 1 个主要指标（如 CVR）和 2 个辅助指标（如 AOV、PSI），避免单一指标优化带来的副作用。
4.3 基线建立方法
基线是 Champion 模型上线前的“零号参考点”，用于衡量模型上线后的真实增量。建立基线需要以下步骤：
- 选择基线窗口：取模型上线前 14 天（或 2 个完整业务周期）的数据作为基线期。
- 计算基线指标：在基线窗口内，按日计算所有评估指标的均值与置信区间（95% CI）。
- 记录环境变量：标注基线期内是否有促销活动、算法变更、数据源切换等干扰因素。
- 固化基线快照：将基线指标、窗口起止时间、环境说明存入模型注册表或实验平台。
- 设定通过阈值：Champion 模型上线后，主要指标需显著优于基线（如 CVR 提升 ≥ 3% 且 p-value < 0.05）。
常见陷阱：基线窗口过短（如 3 天）会导致指标波动大，误判模型效果；窗口过长（如 3 个月）则可能包含过时的数据分布。建议根据业务周期动态调整。
4.4 Champion 定义与基线建立流程
下图展示了从候选模型到 Champion 的完整定义流程，以及基线在其中扮演的角色：
4.5 Champion 模型注册表
为便于追踪与回溯，每个 Champion 模型应在实验平台或模型注册表中记录以下信息：
| 字段 | 示例值 | 说明 |
|---|---|---|
| 模型 ID | champion_v2.1 | 唯一标识 |
| 上线时间 | 2025-03-01 10:00 | UTC+8 |
| 基线窗口 | 2025-02-15 ~ 2025-02-28 | 14 天 |
| 主要指标 | CVR: 5.2% → 5.6% (+7.7%) | 提升幅度与 p-value |
| 辅助指标 | AOV: ¥128 → ¥132 (+3.1%) | 无显著下降 |
| 稳定性 | PSI: 0.04, 日波动: 2.1% | 低于阈值 |
| 环境备注 | 无促销活动，数据源版本 v3 | 便于复现 |
最佳实践：每次 Champion 变更时，自动触发基线重新计算与注册表更新，确保历史版本可追溯。建议使用 CI/CD 流水线自动化 Champion 的评估与上线审批。