4、回放对比评审的数据基础
回放对比评审的可靠性，完全建立在底层数据的质量与完整性之上。如果历史决策数据、特征数据、标签数据或外部数据存在缺失、偏差或时效性问题，评审结论将失去参考价值。本章逐一拆解这四类数据的定义、关键字段与常见陷阱。
4.1 四类数据全景
| 数据类别 | 核心作用 | 典型字段示例 | 常见问题 |
|---|---|---|---|
| 历史决策数据 | 记录模型/规则当时的输出结果与操作日志 | 决策时间、决策ID、规则命中列表、模型分数、拒绝原因码 | 决策版本未固化、操作人ID丢失 |
| 特征数据 | 模型入参的原始值与衍生值 | 多头借贷数、近30天逾期次数、设备指纹、收入分箱 | 特征穿越、空值填充策略不一致 |
| 标签数据 | 用于衡量决策对错的事实结果 | 逾期标签（M0/M1/M2）、欺诈确认标记、核销状态 | 标签窗口期不足、标签漂移 |
| 外部数据 | 第三方数据源提供的辅助信息 | 征信报告、黑名单、多头借贷、工商信息 | 数据源不稳定、接口延迟、字段映射错误 |
关键原则：回放对比评审要求“决策时刻快照”完整可复现。任何事后补录或修改的数据，都必须标记版本与时间戳，否则评审结果不可信。
4.2 历史决策数据：评审的“时间锚点”
历史决策数据是回放对比的起点。评审人员需要精确还原“当时系统看到了什么、做出了什么判断”。缺少决策日志，回放就失去了参照系。
- 决策ID（唯一标识）：每笔申请的唯一流水号，关联所有上下游数据。
- 决策时间戳：精确到毫秒，用于对齐特征快照与外部数据调用时刻。
- 规则/模型版本号：必须记录当时生效的规则集版本与模型版本，否则无法判断是策略问题还是数据问题。
- 命中详情：哪些规则被触发、每个规则的权重、模型分数分箱结果。
- 操作人/系统标识：区分自动决策与人工审核，记录审核员ID。
常见陷阱：部分系统只保存“最终决策结果”，不保存“中间规则命中过程”。回放时只能看到“拒绝”或“通过”，无法分析拒绝原因，评审效果大打折扣。
4.3 特征数据：模型输入的“快照”
特征数据是模型推理的原材料。回放对比评审要求特征数据与决策时刻完全一致，不能使用事后更新的值。
- 原始特征：用户填写的申请信息（年龄、收入、职业等）。
- 衍生特征：基于原始数据计算得到的指标（如近6个月平均额度使用率）。
- 时序特征：随时间变化的值（如近7天登录次数），必须按决策时间点截断。
- 空值处理：记录当时的填充策略（均值填充、中位数填充、默认值填充）。
最佳实践：建立特征快照表，每天或每小时全量保存一次特征数据。回放时直接读取快照表，避免从原始日志重新计算带来的偏差。
4.4 标签数据：评判对错的“标尺”
标签数据决定了“这个决策到底对不对”。标签的定义、窗口期、采集方式直接影响评审结论的可靠性。
| 标签类型 | 定义 | 窗口期 | 注意事项 |
|---|---|---|---|
| 逾期标签 | M0（正常）、M1（逾期1-30天）、M2（逾期31-60天） | 通常为30天、60天、90天 | 窗口期不足会导致标签右截断偏差 |
| 欺诈标签 | 确认欺诈、疑似欺诈、正常 | 通常为90-180天 | 欺诈确认周期长，标签更新滞后 |
| 核销标签 | 已核销、未核销 | 通常为180天以上 | 核销决策受催收策略影响，非纯客观 |
标签漂移问题：同一笔申请，在30天时可能标记为“正常”，但在90天时变为“逾期”。回放评审必须明确标签的“观测时间点”，否则新旧模型对比会失真。
4.5 外部数据：第三方信息的“时效性”
外部数据（征信、黑名单、多头借贷等）是风控决策的重要补充。但外部数据存在接口不稳定、字段变更、数据延迟等问题，回放评审时必须记录调用时的状态。
- 调用时间戳：记录每次外部数据请求的发起时间与返回时间。
- 数据源版本：部分数据源会定期更新字段定义或评分卡版本。
- 返回状态码：成功、超时、无记录、接口异常等。
- 缓存策略：是否使用了缓存数据，缓存有效期是多少。
评审要点：如果外部数据在回放时无法复现（例如数据源已下线或接口已变更），则该笔申请应从评审样本中剔除，或标记为“外部数据缺失”单独分析。
4.6 数据基础架构图
下图展示了回放对比评审中四类数据的存储与调用关系，以及数据流在评审流程中的位置。
4.7 数据质量检查清单
在启动回放对比评审之前，建议按以下清单逐项检查数据基础，避免“垃圾进、垃圾出”。
| 检查项 | 检查内容 | 通过标准 |
|---|---|---|
| 完整性 | 决策ID是否全部可关联到特征、标签、外部数据 | 关联率 ≥ 99.5% |
| 一致性 | 同一决策ID在不同数据表中的时间戳是否一致 | 时间偏差 ≤ 1秒 |
| 时效性 | 标签数据是否覆盖完整的观察窗口期 | 窗口期 ≥ 模型设计周期 |
| 可复现性 | 外部数据接口是否还能返回与当时相同的结果 | 可复现率 ≥ 95% |
| 版本管理 | 规则/模型版本号是否明确记录 | 100% 有版本标识 |
建议：在评审开始前，先抽取100-200笔样本进行数据预检。如果预检中发现数据质量问题，优先修复数据管道，不要强行启动评审。