2. 数据准备与清洗：坏样本数据来源、数据质量检查、缺失值与异常值处理、数据标准化
在贷后策略中，坏样本归因的准确性高度依赖底层数据的质量。未经清洗的原始数据往往包含噪声、缺失、重复和异常记录，直接建模会导致归因偏差甚至策略误判。本章系统讲解坏样本数据的来源、质量检查方法、缺失值与异常值处理策略，以及数据标准化技术，为后续的归因分析奠定可靠基础。
2.1 坏样本数据来源
坏样本数据主要来自贷后管理全流程中的多个系统与环节。不同来源的数据在时效性、完整性和业务含义上存在差异，需分类管理。
| 数据来源 | 典型字段 | 业务含义 | 常见问题 |
|---|---|---|---|
| 核心账务系统 | 逾期天数、剩余本金、还款计划 | 定义坏样本的基准（如 M3+） | 数据延迟、账务调整未同步 |
| 催收系统 | 催收记录、承诺还款、失联标记 | 判断客户还款意愿与失联状态 | 催收员录入错误、重复记录 |
| 第三方征信 | 多头借贷、黑名单、法院执行 | 评估外部风险信号 | 数据更新滞后、接口不稳定 |
| 客户行为日志 | 登录频率、APP 操作、客服咨询 | 识别客户异常行为模式 | 埋点缺失、日志格式不统一 |
| 历史策略结果 | 减免记录、委外标记、核销状态 | 区分策略干预与自然违约 | 策略变更导致标签漂移 |
实践建议：优先从核心账务系统获取坏样本标签（如逾期 90 天以上），再通过催收系统确认客户失联或恶意逃废债状态，避免将“策略未触达”误判为“坏样本”。
2.2 数据质量检查
数据质量检查是清洗前的必要步骤，需从完整性、准确性、一致性、时效性和唯一性五个维度进行系统性评估。
- 完整性检查：统计每个字段的空值率，对空值率超过 50% 的字段标记为“不可用”，需评估是否从其他来源补全或直接剔除。
- 准确性检查：验证字段值是否在合理范围内。例如逾期天数应为非负整数，催收次数不应超过历史最大催收轮次。
- 一致性检查：跨系统比对关键字段。例如账务系统的“逾期天数”与催收系统的“逾期阶段”应逻辑一致。
- 时效性检查：检查数据时间戳是否在预期窗口内。超过 7 天未更新的数据应标记为“滞后数据”，在归因分析中降权使用。
- 唯一性检查：检查主键（如合同号、客户 ID）是否存在重复记录，重复记录需按业务规则去重（如保留最新一条）。
质量检查清单示例：
字段名：逾期天数
完整性：空值率 3.2%（可接受）
准确性：最小值 -1（异常），最大值 365（合理）
一致性：与催收系统逾期阶段匹配率 97.8%
时效性：最新数据时间戳 2025-03-15（滞后 2 天）
唯一性：合同号重复 12 条（已按更新时间去重）2.3 缺失值与异常值处理
缺失值与异常值是数据清洗的核心难点，处理方式直接影响归因模型的稳定性。需根据字段的业务属性和缺失机制选择合适策略。
2.3.1 缺失值处理策略
| 缺失机制 | 典型场景 | 推荐处理方式 | 注意事项 |
|---|---|---|---|
| 完全随机缺失 | 系统随机丢包、接口偶发超时 | 删除缺失记录（缺失率 < 5%） | 删除前需确认剩余样本仍具代表性 |
| 随机缺失 | 高收入客户更倾向不填收入字段 | 中位数/众数填充 | 避免使用均值填充（易受极端值影响） |
| 非随机缺失 | 失联客户缺失联系方式 | 单独标记为“缺失类” | 缺失本身可能包含业务信号 |
| 结构性缺失 | 新上线产品无历史催收记录 | 使用同类产品均值或模型预测 | 需定期更新填充值 |
2.3.2 异常值检测与处理
异常值检测常用方法包括 Z-Score、IQR 四分位距和业务规则阈值。贷后场景中，异常值往往对应欺诈、系统错误或极端风险事件，需谨慎处理。
- Z-Score 方法：适用于近似正态分布的连续变量（如年龄、收入）。|Z| > 3 的样本标记为异常，建议结合业务复核。
- IQR 方法：适用于偏态分布（如逾期金额、催收次数）。Q1 - 1.5×IQR 或 Q3 + 1.5×IQR 之外的样本视为异常。
- 业务规则阈值：例如“单日催收次数 > 50”明显超出人工上限，直接判定为系统错误。
重要提醒：不要机械删除所有异常值。在贷后场景中，部分异常值（如突然激增的逾期金额）可能预示着欺诈团伙或系统性风险，应单独建表分析，而非直接丢弃。
2.4 数据标准化
数据标准化用于消除不同字段量纲和分布差异对归因模型的影响。贷后策略中常用的标准化方法包括 Min-Max 标准化、Z-Score 标准化和稳健标准化。
| 方法 | 公式 | 适用场景 | 优点 | 缺点 |
|---|---|---|---|---|
| Min-Max 标准化 | (x - min) / (max - min) | 字段值有明确上下界（如年龄 0-100） | 保留原始分布形状 | 对异常值敏感 |
| Z-Score 标准化 | (x - μ) / σ | 字段近似正态分布（如收入对数） | 不受量纲影响 | 不适用于偏态分布 |
| 稳健标准化 | (x - median) / IQR | 字段存在异常值或偏态（如逾期金额） | 抗异常值干扰 | 计算复杂度略高 |
贷后场景推荐：对于逾期天数、催收次数等偏态且含异常值的字段，优先使用稳健标准化；对于年龄、期数等均匀分布字段，使用 Min-Max 标准化；对于收入、负债等对数正态分布字段，先取对数再使用 Z-Score 标准化。
2.5 本章小结
数据准备与清洗是坏样本归因分析的基石。通过明确数据来源、执行系统性质量检查、合理处理缺失值与异常值，并选择恰当的标准化方法，可以显著提升后续归因模型的稳定性和可解释性。在实际操作中，建议建立数据质量监控看板，对关键字段的缺失率、异常率进行持续跟踪，确保清洗流程的自动化与可复现性。