3. 灰度验证数据准备：离线数据与在线数据的对齐、时间窗口选择、样本划分策略
灰度验证的数据准备是连接离线模型开发与在线生产环境的核心桥梁。数据准备的质量直接决定灰度验证结论的可靠性。本节聚焦三大关键环节：离线与在线数据的对齐、时间窗口选择、样本划分策略。
3.1 离线数据与在线数据的对齐
离线开发环境与在线生产环境在数据口径、特征计算逻辑、存储时效上存在天然差异。对齐的核心目标是确保离线回测的样本分布与在线实时评分时的数据分布尽可能一致。
3.1.1 对齐维度清单
| 对齐维度 | 离线数据 | 在线数据 | 对齐要求 |
|---|---|---|---|
| 特征口径 | 历史快照表、T+1 批量加工 | 实时接口、近线缓存 | 特征名称、类型、空值处理逻辑完全一致 |
| 时间戳 | 业务日期分区（如 ds=2025-01-15） | 请求时间毫秒级 | 统一到业务日期粒度，消除时区偏差 |
| 标签定义 | 逾期 30+ 天、核销标记等 | 同离线定义 | 标签计算脚本与在线事件表一致 |
| 样本权重 | 无偏采样或过采样 | 全量流量 | 灰度期权重需还原为自然分布 |
| 缺失值处理 | 均值填充 / 中位数填充 | 在线模型服务内置填充逻辑 | 填充值需从离线训练集统计得出，在线固化 |
实践要点：建议在离线数据准备阶段，对每个特征生成一份“特征对齐检查清单”，并在灰度上线前执行一次全量特征比对脚本，确保离线与在线特征分布 KS 值小于 0.02。
3.1.2 对齐流程
- 特征回溯：从在线日志中提取最近 N 天的请求特征，与离线历史表做逐字段比对。
- 分布检验：对连续特征计算 PSI（群体稳定性指标），对离散特征计算卡方检验 p 值。
- 偏差修复：若发现特征分布偏移超过阈值（如 PSI > 0.1），需排查特征加工链路差异并修复。
- 标签对齐：确保离线标签表与在线逾期事件表使用同一套 SQL 逻辑生成。
常见陷阱：在线实时特征可能因上游数据延迟而出现大量空值，而离线训练时已做了填充。若未对齐，会导致在线评分时特征缺失率异常升高，模型输出偏差。
3.2 时间窗口选择
时间窗口决定了灰度验证的观察周期和样本的时间跨度。选择不当会导致验证结果无法反映模型在真实业务周期中的表现。
3.2.1 窗口类型与适用场景
| 窗口类型 | 定义 | 适用场景 | 典型长度 |
|---|---|---|---|
| 固定回溯窗口 | 选取过去固定时间段（如近 3 个月）的全量样本 | 模型迭代快、业务稳定期 | 3~6 个月 |
| 滚动时间窗口 | 以当前日期为终点，向前滑动固定长度 | 业务有季节性、周期性波动 | 6~12 个月 |
| 事件驱动窗口 | 以特定事件（如产品改版、风控策略调整）为锚点 | 重大业务变更前后的效果对比 | 事件前后各 1~3 个月 |
| 混合窗口 | 结合固定回溯与滚动窗口，取交集或加权 | 业务波动大、需兼顾近期与历史稳定性 | 6~12 个月 + 近期 1 个月加权 |
3.2.2 窗口选择决策流程
- 确定观察期长度：根据标签表现期（如逾期 30 天）确定最小观察窗口，通常为表现期的 1.5~2 倍。
- 评估业务周期性：若业务存在明显的月度/季度波动，选择滚动窗口以覆盖完整周期。
- 检查样本量：窗口内坏样本数需满足统计显著性要求（通常坏样本 ≥ 500）。
- 验证稳定性：对窗口内样本计算 PSI，确保窗口间分布偏移在可接受范围内。
注意：时间窗口不宜过短（< 1 个月），否则样本量不足且易受短期噪声干扰；也不宜过长（> 12 个月），否则历史数据可能已无法反映当前客群特征。
3.3 样本划分策略
样本划分是灰度验证数据准备的核心步骤，直接影响验证结果的统计可信度。常见的划分策略包括时间序列划分、分层抽样划分和交叉验证划分。
3.3.1 三种划分策略对比
| 策略 | 划分方式 | 优点 | 缺点 | 推荐场景 |
|---|---|---|---|---|
| 时间序列划分 | 按时间顺序切分训练集/验证集/测试集 | 模拟真实上线顺序，避免未来信息泄露 | 无法随机化，可能受时间趋势影响 | 灰度验证、模型上线前的最终评估 |
| 分层抽样划分 | 按关键分层变量（如额度段、客群类型）等比例抽样 | 保证各层样本分布一致，减少抽样偏差 | 需预先定义分层变量，可能增加复杂度 | 客群异质性高、需分群评估的场景 |
| 交叉验证划分 | 将数据随机分成 K 折，轮流作为验证集 | 充分利用数据，评估模型稳定性 | 计算成本高，不适用于时间序列数据 | 离线调参、特征选择阶段 |
3.3.2 灰度验证推荐划分方案
对于额度模型灰度验证，推荐采用时间序列划分 + 分层抽样的组合策略：
- 训练集：选取时间窗口内前 70% 的样本（按时间顺序）。
- 验证集：选取时间窗口内中间 15% 的样本，用于调参和早停。
- 测试集：选取时间窗口内最后 15% 的样本，模拟灰度上线后的数据分布。
- 分层控制：在划分时按额度段（如 0~5000、5000~20000、20000+）进行分层，确保各额度段在三个集合中的占比与全量一致。
样本量建议：测试集坏样本数不低于 300，总样本数不低于 10000。若业务坏账率较低（如 < 1%），需适当扩大测试集比例至 20%~25%。
3.4 数据准备流程总览
下图展示了从原始数据到灰度验证样本集的完整流程，包含离线与在线对齐、时间窗口选择、样本划分三个核心步骤。
3.5 数据准备检查清单
在进入灰度验证执行阶段前，建议逐项确认以下检查点：
- 特征对齐：离线与在线特征分布 PSI < 0.1，缺失率差异 < 5%。
- 时间窗口：窗口长度覆盖完整表现期，且包含至少一个完整业务周期。
- 样本划分：训练/验证/测试集比例合理，各额度段分层比例与全量一致。
- 标签时效：标签数据截止日期与观察窗口终点对齐，无未来信息泄露。
- 样本量：测试集坏样本数 ≥ 300，总样本数 ≥ 10000。
自动化建议：将上述检查点封装为数据质量校验脚本，在每次灰度验证前自动执行并生成报告，避免人工遗漏。