回放验证基础概念
回放验证（Replay Validation）是风控模型与策略上线前最关键的离线验证手段之一。它的核心思想是：用历史真实发生的样本，模拟模型或策略在“当时”的决策效果。简单来说，就是把新模型“放回”到过去的时间点，看它如果当时就上线，会做出什么样的决策。
一句话定义：回放验证 = 用历史数据 + 历史时间切片 + 新模型/策略，模拟“如果当时用了新方案，结果会怎样”。
为什么需要回放验证
在风控建模与特征工程实践中，模型或策略的更新迭代非常频繁。直接上线新模型存在巨大风险，而传统的离线评估（如AUC、KS、Lift等指标）只能告诉你模型“区分度好不好”，无法回答一个更关键的问题：“如果这个模型在三个月前上线，实际会拒绝多少好客户？会放过多少坏客户？最终损失是多少？”
回放验证正是为了解决这个“离线指标与线上效果之间的鸿沟”而存在。它的必要性体现在以下四个维度：
| 维度 | 离线评估的局限 | 回放验证的价值 |
|---|---|---|
| 时间一致性 | 使用全量样本，忽略时间顺序 | 严格按时间切片回放，模拟真实上线节奏 |
| 业务决策模拟 | 只输出概率/分数，不模拟决策动作 | 可模拟通过/拒绝/人工审核等完整决策链 |
| 收益与损失量化 | 只给出统计指标，无法换算成金额 | 可计算坏账损失、通过率变化、利润影响 |
| 策略联动验证 | 通常只验证单一模型 | 可验证模型+规则+阈值的组合策略效果 |
实践建议：在特征衍生与分箱完成后，务必先做回放验证，再决定是否进入线上A/B测试。回放验证能帮你提前发现“过拟合的时间模式”和“特征失效窗口”。
回放验证与离线评估的区别
很多从业者容易把回放验证和离线评估混为一谈。实际上，两者在数据使用方式、评估目标、输出结果三个层面有本质区别。下面通过一个结构化的对比来厘清：
回放验证的典型工作流程
理解了概念和区别之后，我们来看一个标准的回放验证流程。这个流程在后续的变量衍生与分箱实践中会反复使用：
- 确定回放时间窗口：选择历史某段时间（如过去3个月、6个月），作为回放区间。
- 准备时间切片数据：按天或按周切分数据，每个切片包含该时间点的特征、标签、决策结果。
- 加载新模型/策略：将待验证的模型或特征分箱规则应用到每个时间切片上。
- 模拟决策动作：根据模型分数和预设阈值，模拟通过、拒绝、人工审核等决策。
- 计算业务指标：统计每个时间切片的通过率、坏账率、逾期率、利润等。
- 汇总与对比：将回放结果与线上实际结果对比，评估新方案的优劣。
常见陷阱：回放验证时最容易犯的错误是“未来信息泄露”。例如，用全量样本计算分位数后再回放，相当于让模型看到了未来的数据分布。正确的做法是：每个时间切片只使用该切片之前的历史数据来计算特征统计量。
回放验证在特征工程中的特殊意义
在变量衍生与分箱实践中，回放验证还有一个独特的价值：检验特征的时间稳定性。一个在离线评估中表现很好的特征，可能在回放验证中暴露出严重的“时间衰减”问题——即特征区分度随时间快速下降。
| 特征类型 | 离线评估表现 | 回放验证表现 | 结论 |
|---|---|---|---|
| 强时序特征（如近30天借款次数） | AUC = 0.72 | 前2个月AUC稳定，第3个月降至0.61 | 存在时间衰减，需做衰减补偿 |
| 弱时序特征（如年龄、性别） | AUC = 0.58 | 6个月内AUC稳定在0.56~0.59 | 稳定性好，可长期使用 |
| 复杂衍生特征（如交叉分箱后的WOE） | AUC = 0.78 | 第1个月0.78，第2个月0.65，第3个月0.52 | 严重过拟合，不可上线 |
通过回放验证，我们可以在特征工程阶段就淘汰那些“看起来很美、实际不稳定”的衍生变量，避免将无效特征带入线上模型。