4. 数据准备阶段：历史决策数据采集、数据清洗、数据对齐、时间窗口选择、样本划分
数据准备是风控模型从理论走向落地的基石。在回放对比评审中，数据准备的质量直接决定了评审结论的可信度。本阶段的核心任务是将原始业务日志转化为可供模型训练与回放验证的标准数据集，涵盖以下五个关键环节。
4.1 历史决策数据采集
采集对象为风控系统历史上所有决策请求及其对应的结果数据。数据源通常包括：
- 决策请求日志：用户ID、设备指纹、IP、申请时间、申请金额、产品类型等。
- 决策结果表：最终审批结果（通过/拒绝/人工）、审批额度、利率、拒绝原因码。
- 外部数据源调用记录：征信报告、黑名单、多头借贷、三方评分等。
- 贷后表现数据：逾期天数、坏账标记、结清状态、还款行为序列。
采集避坑提示： 务必确认数据的时间戳精度（建议精确到毫秒），并保留原始决策版本号，以便在回放时区分不同策略版本的影响。
4.2 数据清洗
原始数据中常包含噪声、缺失值和异常值，清洗步骤包括：
| 清洗类型 | 常见问题 | 处理方式 |
|---|---|---|
| 缺失值 | 字段为空或占位符（-9999） | 均值/中位数填充、模型预测填充、或单独标记为“缺失”类别 |
| 异常值 | 年龄=200、收入=0、金额为负数 | 基于业务规则截断或剔除，或使用IQR/3σ方法识别 |
| 重复记录 | 同一笔申请被重复记录 | 按申请ID+时间戳去重，保留最新一条 |
| 格式不一致 | 日期格式混用、手机号带国家码 | 统一转换为标准格式（如YYYY-MM-DD） |
4.3 数据对齐
数据对齐解决的是“同一笔申请在不同数据表中的时间戳与特征值是否匹配”的问题。核心对齐维度包括：
- 时间轴对齐：确保决策时间、外部数据返回时间、贷后表现观察截止时间在同一个时间坐标系下。
- 样本ID对齐：将申请ID、用户ID、设备ID在不同表之间建立映射关系，避免错位。
- 特征对齐：同一特征在不同版本策略中的计算逻辑可能不同，需统一到回放评审所采用的特征定义。
对齐失败案例： 某机构在回放时发现，由于外部征信数据返回时间与决策时间存在2秒延迟，导致约3%的样本特征值与实际决策时使用的特征值不一致，最终回放AUC偏差达0.05。解决方案是在采集时同时记录“特征取值时间戳”与“决策时间戳”，仅保留时间差在阈值内的样本。
4.4 时间窗口选择
时间窗口决定了模型训练与回放所使用的数据范围。选择不当会导致样本选择偏差或时间穿越问题。
时间窗口选择警告： 若训练窗口与回放窗口存在时间重叠，模型在回放时可能“看到”未来信息，导致回放效果虚高。建议在训练窗口与回放窗口之间至少保留1个月的时间间隔作为缓冲。
4.5 样本划分：训练集 / 测试集 / 回放集
样本划分是数据准备阶段的最后一步，也是回放对比评审的核心设计。三种数据集的定义与用途如下：
| 数据集 | 时间范围 | 样本量占比（建议） | 用途 | 是否参与模型训练 |
|---|---|---|---|---|
| 训练集 | T₀ ~ T₁ | 60% | 模型参数学习、特征筛选 | 是 |
| 测试集 | T₀ ~ T₁（与训练集同时间窗） | 20% | 模型调参、防止过拟合 | 否 |
| 回放集 | T₂ ~ T₃（未来时间窗） | 20% | 模拟新策略在历史真实场景下的表现 | 否 |
回放集设计要点： 回放集必须使用与训练集/测试集完全不同的时间窗口，且回放集内的样本在模型训练时不可见。回放集的大小应保证统计显著性，通常要求正样本（逾期/坏账）数量不少于500个。
4.6 数据准备阶段完整流程
以下SVG图展示了从原始数据到最终样本划分的完整流水线：
最佳实践： 建议在数据准备阶段结束时，对三个数据集分别进行分布一致性检验（如PSI、KS检验），确保训练集、测试集、回放集在关键特征上的分布没有显著漂移。若发现漂移，需回溯至数据对齐或时间窗口选择步骤进行调整。