2. 回放评估概述：回放评估的定义、为什么需要回放评估、回放评估的适用场景
在 Champion Challenger 模型的迭代流程中，回放评估（Replay Evaluation） 是连接离线训练与在线部署的关键验证环节。它通过将历史流量数据“回放”给新模型，模拟在线推理环境，从而在无风险的前提下评估模型效果。
2.1 回放评估的定义
回放评估是一种离线仿真评估方法。它利用已记录的线上真实请求日志（包括特征、上下文、用户行为），将 Challenger 模型置于与 Champion 模型完全相同的输入条件下，重新计算预测结果，并与 Champion 的预测结果进行对比。
核心公式： 回放评估 = 历史真实流量 × 新模型推理 × 指标对比
与传统的离线数据集评估不同，回放评估保留了时间序列和流量分布的原始结构，能够更真实地反映模型在线上环境中的表现。
2.2 为什么需要回放评估
仅依赖离线 AUC、LogLoss 等指标往往无法完全预测线上效果。回放评估解决了以下三个关键痛点：
| 痛点 | 离线评估的问题 | 回放评估的解决方案 |
|---|---|---|
| 分布偏移 | 训练集与线上实时数据分布不一致 | 使用线上真实日志，保持分布一致 |
| 反馈延迟 | 无法模拟用户即时反馈 | 基于历史真实反馈，计算延迟转化 |
| 系统交互 | 忽略模型输出对下游系统的影响 | 保留上下文，评估排序/推荐链路的连锁反应 |
实践建议： 在 CTR 预估场景中，回放评估能有效发现“离线 AUC 高但线上点击率下降”的模型，避免 Champion 模型被错误替换。
2.3 回放评估的适用场景
回放评估并非万能，它最适合以下三类场景：
- 排序与推荐系统： 评估新排序模型对 Top-K 结果的影响，观察用户点击、停留时长等指标变化。
- 广告竞价与出价： 回放历史竞价日志，验证新出价策略在成本约束下的 ROI 表现。
- 风控与反欺诈： 使用历史交易数据，测试新模型对欺诈交易的拦截率与误伤率。
以下流程图展示了回放评估在 Champion Challenger 流程中的位置：
2.4 回放评估与在线 A/B 测试的对比
回放评估常被误认为可以替代在线 A/B 测试，实际上两者是互补关系。下表列出了关键差异：
| 维度 | 回放评估 | 在线 A/B 测试 |
|---|---|---|
| 环境 | 离线仿真 | 真实线上流量 |
| 风险 | 无风险 | 存在业务风险 |
| 反馈周期 | 分钟级 | 天级或周级 |
| 样本量 | 受限于历史日志 | 可实时扩充 |
| 外部因素 | 无法捕捉 | 自然包含 |
注意： 回放评估无法替代在线 A/B 测试的最终验证。它主要用于快速筛选候选模型，减少不必要的线上实验次数，降低试错成本。
2.5 回放评估的典型工作流
一次完整的回放评估通常包含以下五个步骤：
- 日志采集与清洗： 从线上系统抽取指定时间窗口的请求日志，去除异常数据。
- 特征对齐： 确保 Champion 和 Challenger 模型使用相同的特征工程逻辑。
- 模型推理： 将日志逐条输入两个模型，记录预测结果。
- 指标计算： 计算 AUC、LogLoss、Top-K 命中率、延迟转化率等核心指标。
- 差异分析： 对比两个模型在细分维度（如用户群、时段、品类）上的表现差异。
以下示意图展示了回放评估的内部处理流程：
2.6 回放评估的局限性
尽管回放评估优势明显，但在实际应用中仍需注意以下局限：
- 无法捕捉用户行为变化： 回放使用的是历史反馈，无法反映模型上线后用户行为可能发生的改变。
- 依赖日志质量： 日志缺失、特征错误或采样偏差会直接影响评估结果。
- 无法评估长期效果： 对于需要多轮交互或长期留存优化的模型，回放评估的参考价值有限。
最佳实践： 将回放评估作为模型上线的“第一道门”，通过后再进入小流量 A/B 测试，形成“回放评估 → 小流量验证 → 全量上线”的三级验证体系。