4. 数据准备与质量检查：数据源确认、缺失值处理、异常值检测、时间窗口对齐
数据质量是模型收益评估的基石。在排查异常波动之前，必须系统性地完成数据源确认、缺失值处理、异常值检测与时间窗口对齐四个步骤。任何一步的疏漏都可能导致后续分析结论完全失真。
4.1 数据源确认
首先需要明确模型收益评估所依赖的数据源清单，并逐一确认其可用性与一致性。常见数据源包括：
| 数据源类型 | 关键字段 | 常见问题 |
|---|---|---|
| 授信审批系统 | 申请ID、审批结果、授信额度、利率 | 审批状态更新延迟、重复记录 |
| 放款系统 | 合同号、放款金额、放款日期、期数 | 放款日期为空、金额为负 |
| 还款系统 | 还款计划、实际还款日期、逾期天数 | 部分还款未记录、提前结清标记缺失 |
| 模型评分服务 | 申请ID、模型分数、分数版本、决策时间 | 分数版本不一致、评分时间戳异常 |
| 外部征信数据 | 多头借贷、黑名单、收入验证结果 | 接口超时、数据更新频率不匹配 |
实操建议：建立数据源血缘关系图，明确每个字段的原始系统、ETL加工逻辑与最终落表位置。在排查波动时，优先检查数据源是否发生版本变更或接口切换。
4.2 缺失值处理
缺失值会直接影响收益计算中的分母（如放款笔数）与分子（如逾期损失）。处理策略需根据缺失机制与业务含义决定：
- 完全随机缺失（MCAR）：可直接删除或使用均值/中位数填充，但需评估删除后样本量是否足够。
- 随机缺失（MAR）：建议使用模型预测填充（如KNN、随机森林）或业务规则填充（如用最近一期数据前向填充）。
- 非随机缺失（MNAR）：需与业务确认缺失原因，必要时单独标记为“未知”类别，避免填充引入偏差。
关键指标：缺失率超过5%的字段应逐字段分析；缺失率超过30%的字段建议在收益评估中剔除或做敏感性分析。
4.3 异常值检测
异常值会严重扭曲收益率的均值与方差。推荐采用以下方法组合检测：
- 业务规则法：如放款金额为负、逾期天数大于合同期数、利率超过法定上限等，直接标记为异常。
- 统计法：使用Z-score（|Z|>3）或IQR（Q1-1.5*IQR, Q3+1.5*IQR）识别极端值。
- 模型法：使用孤立森林或LOF（局部异常因子）检测多维异常组合，如“高额度+低评分+短逾期”等模式。
注意：不要机械删除所有异常值。部分异常值可能代表真实的风险事件（如欺诈交易），删除后会低估模型收益波动。建议先标记，再在排查中单独分析异常样本的收益贡献。
4.4 时间窗口对齐
模型收益评估要求所有数据在统一的时间窗口内对齐，否则会出现“跨期错配”导致的虚假波动。对齐步骤包括：
- 定义观察期与表现期：例如以放款日为T日，观察期取T-90至T-1的模型评分，表现期取T+1至T+180的还款表现。
- 统一时间粒度：将日级数据聚合为周级或月级，确保不同数据源的时间戳精度一致。
- 处理时区差异：跨地域业务需统一为UTC时间，避免因时区偏移导致日期错位。
- 滞后变量对齐：如外部征信数据存在1-3天延迟，需在建模时引入滞后窗口，避免未来信息泄露。
4.5 数据质量检查清单
完成上述步骤后，建议输出一份标准化的数据质量检查报告，至少包含以下维度：
| 检查维度 | 检查内容 | 通过标准 |
|---|---|---|
| 完整性 | 关键字段缺失率 | ≤5% |
| 准确性 | 字段值在业务合理范围内 | 异常值占比≤1% |
| 一致性 | 跨系统字段逻辑一致 | 不一致记录≤0.1% |
| 时效性 | 数据延迟天数 | ≤1天 |
| 对齐性 | 时间窗口匹配度 | 100%对齐 |
总结：数据准备与质量检查不是一次性工作。在模型收益评估的持续监控中，每次发现异常波动都应首先回溯数据质量，确认波动是否由数据问题引起，再进入模型与业务层面的排查。