1、回放验证概述
什么是回放验证
回放验证（Replay Validation / Shadow Testing）是一种离线模型评估方法，其核心思想是：将当前生产环境记录的实时请求日志“回放”给待验证的新模型或策略，在不对线上流量产生任何影响的前提下，对比新模型输出与真实线上结果之间的差异。
回放验证通常包含三个关键要素：
- 历史请求日志：生产环境真实用户请求的完整记录，包含特征、上下文、时间戳等。
- 离线推理引擎：新模型或新分箱策略在离线环境中接收回放请求并输出预测结果。
- 结果对比模块：将新模型输出与线上基准结果进行逐条比对，生成评估指标。
核心原则：回放验证不干预线上流量，所有验证过程均在离线环境中完成，风险为零。
回放验证在模型监控中的作用
在模型监控体系中，回放验证承担着“安全气囊”和“质量门禁”的双重角色。具体作用体现在以下四个方面：
| 监控维度 | 回放验证的作用 | 典型场景 |
|---|---|---|
| 回归检测 | 快速发现新模型相比旧模型的性能退化 | 变量分箱调整后，验证 AUC 是否下降 |
| 一致性校验 | 确保新模型在相同输入下输出稳定可预期 | 分箱边界变更后，检查评分分布偏移 |
| 边界测试 | 覆盖线上真实但罕见的极端样本 | 长尾特征值在分箱后的表现验证 |
| 性能基准 | 建立新模型上线前的性能基线 | 分箱数量变化对计算耗时的影响评估 |
实践建议：在变量分箱场景中，每次调整分箱策略后都应先执行回放验证，确认分箱后的变量对模型输出无异常影响，再考虑上线。
回放验证与在线 A/B 测试的区别
回放验证和在线 A/B 测试是两种互补但本质不同的评估方法。理解它们的区别，有助于在变量分箱场景中正确选择验证策略。
| 对比维度 | 回放验证 | 在线 A/B 测试 |
|---|---|---|
| 运行环境 | 完全离线，不接触线上流量 | 在线环境，真实用户流量分流 |
| 风险等级 | 零风险，不影响用户体验 | 存在潜在风险，可能影响用户 |
| 数据来源 | 历史日志，固定数据集 | 实时流量，持续流入 |
| 时间跨度 | 可回放任意历史时段 | 通常持续数天至数周 |
| 评估指标 | 模型输出对比、分布一致性 | 业务指标（转化率、收入等） |
| 样本量 | 受限于历史日志规模 | 受限于实时流量规模 |
| 适用阶段 | 模型开发、上线前验证 | 上线后效果评估、长期监控 |
常见误区：回放验证不能替代 A/B 测试。回放验证只能评估模型输出层面的变化，无法衡量真实业务指标（如用户点击率、转化率）的差异。在变量分箱场景中，建议先用回放验证做安全筛查，再通过 A/B 测试做最终效果确认。
变量分箱场景下的选择策略
在《回放验证场景下的变量分箱技巧》课程中，我们重点关注回放验证在分箱策略评估中的独特价值。以下决策流程可帮助判断何时使用回放验证：
- 分箱边界调整：优先使用回放验证，快速确认分箱变化是否导致评分分布异常偏移。
- 分箱数量变更：使用回放验证对比不同分箱数量下的模型输出一致性。
- 新变量引入：先用回放验证评估新变量分箱后的区分能力，再决定是否进入 A/B 测试。
- 分箱逻辑重构：必须通过回放验证确保重构前后输出结果高度一致（回归测试）。