3. 回放数据准备：数据时间窗口划分、样本选取原则、正负样本定义与采样策略

回放验证的核心在于模拟模型在真实业务环境中的上线表现。数据准备阶段决定了验证结论的可靠性，必须严格遵循时间因果逻辑，避免未来信息泄露。本节将系统讲解时间窗口划分、样本选取、正负样本定义及采样策略四个关键环节。

3.1 数据时间窗口划分

时间窗口划分是回放验证的基石。错误的窗口划分会导致模型在验证时“看到”未来数据，造成性能虚高。标准做法是将历史数据划分为三个连续且不重叠的时间段：

3.2 样本选取原则

样本选取直接影响回放验证的泛化能力评估。选取过程需遵循以下四项核心原则：

1. 时间一致性原则：所有样本必须按照其发生时间归属到对应的窗口，不能跨窗口混用。
2. 样本独立性原则：同一用户在训练窗口和验证窗口中只能出现一次，避免用户重叠导致的数据泄露。
3. 业务完整性原则：样本需覆盖业务全流程，包括正常、异常、拒绝、流失等各类场景。
4. 标签可观测原则：验证窗口中的每个样本，在观察窗口内必须能够获取到明确的标签（正/负）。

3.3 正负样本定义

正负样本的定义必须与业务目标严格对齐。在回放验证中，通常采用表现期观察法来定义样本标签：

3.4 采样策略

真实业务场景中正负样本往往高度不平衡（如欺诈率 < 1%）。直接使用原始分布进行回放验证会导致评估指标失真。常用的采样策略包括：

• 下采样（Undersampling）：随机减少多数类样本，使正负比例达到1:1~1:5。适用于多数类样本量充足的情况。
• 上采样（Oversampling）：复制少数类样本或使用SMOTE生成合成样本。适用于少数类样本量极少的情况。
• 分层采样（Stratified Sampling）：按时间、用户等级、渠道等维度分层，保证各层内正负比例与原始分布一致。
• 时间加权采样（Time-weighted Sampling）：对近期样本赋予更高权重，模拟模型上线后的实时数据分布。

3.5 样本选取与标签生成的完整流程

综合以上内容，回放验证的数据准备可归纳为以下标准步骤：

1. 确定时间边界：根据业务周期设定 T₀、T₁、T₂、T₃。
2. 提取候选样本：从业务日志中提取 T₁~T₂ 时间段内所有符合条件的用户/事件。
3. 剔除重叠用户：确保训练窗口与验证窗口的用户集合无交集。
4. 生成标签：在 T₂~T₃ 观察窗口内，根据业务规则判定每个样本的正负标签。
5. 处理缺失标签：对于观察窗口内未产生明确结果的样本（如仍在观察中），予以剔除。
6. 执行采样：根据正负比例和业务需求，在训练窗口内执行下采样或上采样。
7. 验证分布一致性：对比采样前后训练窗口与验证窗口的特征分布，确保无显著偏移。