4. 数据采集与理解：额度模型所需数据源及质量初步评估
额度模型的核心任务是预测借款人的违约风险，其预测能力高度依赖于输入数据的广度、深度与质量。本章将系统梳理额度模型所需的三类核心数据源——征信数据、行为数据与收入数据，并建立一套标准化的数据质量初步评估框架。
4.1 额度模型三大核心数据源
根据数据来源与业务含义，额度模型所需数据可归纳为以下三类。每一类在模型中承担不同的角色，缺失任何一类都会显著降低模型区分度。
| 数据类别 | 典型字段 | 模型角色 | 获取难度 |
|---|---|---|---|
| 征信数据 | 信贷历史、逾期记录、查询次数、负债率 | 核心信用画像，直接反映还款意愿与能力 | 高（需授权与合规接口） |
| 行为数据 | APP使用频率、登录时段、设备指纹、社交图谱 | 补充信用评估，识别欺诈与稳定性 | 中（需埋点与隐私合规） |
| 收入数据 | 工资流水、纳税记录、公积金、经营流水 | 还款能力直接度量，决定额度上限 | 中高（需用户授权与数据源对接） |
实战提示：在模型训练集切分前，务必确认三类数据在时间窗口上对齐。例如，征信数据通常以“近6个月”为窗口，行为数据可能以“近30天”为窗口，收入数据则以“近3个月平均”为窗口。时间窗口不一致会导致特征与标签的时序错位，是训练集切分中最常见的隐蔽错误。
4.2 数据源采集流程与关键节点
数据采集并非一次性拉取，而是遵循一个标准化的多阶段流程。以下SVG图展示了从用户授权到数据入库的完整链路，以及每个阶段的质量控制节点。
4.3 数据质量初步评估框架
在数据进入模型训练集切分之前，必须完成一轮标准化的质量评估。评估结果将直接影响后续的切分策略——例如，质量较差的字段可能需要降权或剔除。评估框架包含以下四个维度：
- 完整性（Completeness）：检查每个字段的缺失率。对于额度模型，关键字段（如征信逾期次数、月收入）的缺失率应低于5%。缺失率超过20%的字段建议暂时排除。
- 准确性（Accuracy）：验证数据是否真实反映客观事实。例如，收入字段不应出现负数，年龄字段不应超过120岁。可通过交叉验证（如征信收入与银行流水对比）进行抽样核查。
- 一致性（Consistency）：检查同一实体在不同数据源中的取值是否矛盾。例如，征信报告中的“当前负债总额”与用户自填的“月还款额”之间应存在合理的勾稽关系。
- 时效性（Timeliness）：确认数据的时间戳是否在模型预期的窗口内。过期的征信记录（如超过2年）对当前信用评估的参考价值大幅下降。
质量评估阈值速查表：以下阈值适用于额度模型训练集切分前的初步筛选。实际项目中可根据业务容忍度微调。
| 评估维度 | 优秀（可直接使用） | 合格（需处理） | 不合格（建议剔除） |
|---|---|---|---|
| 完整性 | 缺失率 < 3% | 缺失率 3% ~ 10% | 缺失率 > 20% |
| 准确性 | 异常值率 < 1% | 异常值率 1% ~ 5% | 异常值率 > 10% |
| 一致性 | 矛盾记录 < 0.5% | 矛盾记录 0.5% ~ 2% | 矛盾记录 > 5% |
| 时效性 | 数据滞后 < 7天 | 数据滞后 7~30天 | 数据滞后 > 60天 |
4.4 数据质量评估报告示例
以下是一个简化的数据质量评估报告片段，展示如何将上述框架落地为可操作的检查清单。该报告应在每次数据采集完成后自动生成，作为训练集切分的准入凭证。
# 数据质量评估报告（示例）
# 数据源：征信接口 v3.2 | 采集时间：2025-03-15 08:00:00
字段名称 完整性(%) 准确性(%) 一致性(%) 时效性(天) 评估结论
------------------ --------- --------- --------- --------- --------
逾期次数_近6个月 98.2 99.5 99.1 3 优秀
当前负债总额 95.7 98.3 97.8 5 合格
月收入（自填） 72.4 85.1 88.6 12 不合格
信用卡使用率 96.8 99.0 98.5 4 优秀
查询次数_近3个月 99.1 99.8 99.3 2 优秀
# 不合格字段处理建议：
# - 月收入（自填）：缺失率27.6%，建议使用银行流水或公积金数据替代。
重要提醒：数据质量评估不是一次性工作。在模型训练集切分过程中，每次新增数据源或更新数据版本时，都必须重新执行评估。特别是当数据采集接口发生变更（如征信机构升级API）时，旧版本的质量阈值可能不再适用，需要重新校准。
4.5 数据源与模型切分的关联
理解数据源的质量特征，直接决定了训练集切分策略的选择。以下SVG图展示了数据质量与切分策略之间的决策逻辑，帮助你在实际项目中快速做出正确选择。
决策树的核心逻辑可以概括为：数据质量决定切分策略的复杂度。高质量数据可以直接采用随机切分，节省时间；中等质量数据需要引入分层切分，确保训练集与测试集的质量分布一致；低质量数据则必须优先进行数据修复（如缺失值插补、异常值截断），修复完成后再执行切分，否则模型评估结果将严重失真。