4. 数据准备与特征工程
授信额度模型的上限,往往不在算法,而在数据。数据准备与特征工程决定了模型能看到什么、能区分什么、能稳定多久。本节围绕四条主线展开:数据源怎么梳理、征信变量怎么用、行为变量怎么建、特征怎么衍生与筛选。
一、核心原理:先有数据地图,再有特征工厂
数据准备不是“把表拼起来”,而是建立一张数据地图:每个数据源对应什么业务时点、覆盖什么客群、更新频率如何、主键是什么、缺失率与合规边界在哪里。没有数据地图,后续特征工程会陷入“字段很多、可用很少”的困境。
特征工程的核心原理可以概括为三句话:
- 时点正确:任何变量只能使用授信申请时点或额度调整时点之前可获得的信息,避免未来信息泄漏。
- 业务可解释:特征要能回答“它刻画了什么风险维度”,否则入模后无法复盘、无法向业务解释。
- 稳定可监控:特征上线后要有PSI、缺失率、覆盖率的监控口径,能发现漂移。
apply_time 或 snapshot_date,并按主键+时点唯一。
二、方法流程:从数据源到入模特征
建议按以下六步推进,每一步都有交付物:
- 数据源盘点:列出申请信息、征信数据、内部行为、外部三方、设备与关系网络等,标注主键、时点、更新频率、合规授权。
- 时点对齐:以申请/调额时点为基准,向前取最近一次快照或聚合窗口,形成宽表。
- 变量分层:分为征信变量、行为变量、申请变量、外部变量四类,分别定义口径。
- 特征衍生:在原始变量上做趋势、占比、波动、交叉、时间衰减等加工。
- 特征筛选:先做缺失、覆盖、IV、相关性、共线性、稳定性过滤,再做多变量筛选。
- 特征验收:输出特征字典、监控指标、回测结果,进入模型训练。
三、征信变量:结构化与准结构化并重
征信变量通常分为几类:账户类(账户数、授信总额、已用额度、账龄)、逾期类(当前逾期、历史逾期次数、最长逾期天数)、查询类(近3/6/12月查询次数、贷款审批查询占比)、公共类(法院、税务、行政处罚等)。
征信变量使用要点:
- 查询类变量对多头风险敏感,但要注意“本人查询”与“机构查询”区分。
- 逾期类变量要区分“当前逾期”与“历史逾期”,前者是强风险信号。
- 账户类变量要结合账龄与额度使用率,避免只看绝对额。
- 征信报告版本变化会导致字段口径变化,需做版本映射。
四、行为变量:从交易流水到风险画像
行为变量来自内部交易、还款、登录、设备等,是区分“好客户”与“坏客户”的重要补充。常见构建方式:
- 还款行为:按时还款比例、逾期天数分布、提前还款次数、最低还款次数。
- 交易行为:月均消费金额、消费笔数、夜间交易占比、大额交易频率。
- 额度使用:额度使用率、使用率变化趋势、临时额度使用情况。
- 活跃与设备:登录频次、设备更换次数、常用设备稳定性。
行为变量通常按时间窗口聚合,例如近1/3/6/12月。窗口越长,稳定性越好,但时效性越弱;窗口越短,敏感度高,但噪声大。建议同时保留长短期窗口,让模型自己权衡。
五、特征衍生与筛选:从原始字段到入模变量
特征衍生常用方法包括:
- 趋势类:近3月均值/近12月均值、环比、同比。
- 占比类:某类交易占比、逾期账户占比、查询机构类型占比。
- 波动类:标准差、变异系数、最大最小值差。
- 交叉类:额度使用率×逾期次数、查询次数×账龄。
- 时间衰减:对近期行为赋更高权重。
筛选方法建议分三层:
- 基础过滤:缺失率过高、覆盖率过低、单一值占比过高、时点不可回溯的特征直接剔除。
- 单变量筛选:IV值、KS、AUC、信息增益,保留区分度达标且方向合理的特征。
- 多变量筛选:相关性矩阵、VIF、逐步回归、LASSO、树模型重要性,控制共线性与过拟合。
| 筛选阶段 | 常用指标 | 建议阈值/动作 | 主要目的 |
|---|---|---|---|
| 基础过滤 | 缺失率、覆盖率、单值率 | 缺失率>80%或覆盖率<30%剔除 | 保证可用性 |
| 单变量筛选 | IV、KS、AUC | IV<0.02剔除,0.02~0.1弱,>0.1较强 | 保留区分度 |
| 相关性筛选 | Pearson/Spearman、VIF | 相关系数>0.7或VIF>10考虑剔除 | 降低共线性 |
| 稳定性筛选 | PSI、跨期KS | PSI>0.25预警,>0.5剔除 | 控制漂移 |
| 多变量筛选 | LASSO、树重要性、逐步回归 | 结合业务方向保留8~15个核心特征 | 平衡效果与解释 |
六、案例与误区复盘
案例场景:某消费金融公司在额度模型中引入“近6月机构查询次数”,单变量IV为0.18,KS为0.21,看似很好。但上线后PSI连续两月超过0.3,原因是渠道策略调整导致查询次数整体下降。复盘发现:该变量与渠道强相关,未做渠道分层校准。后续改为“查询次数/同渠道均值”的相对指标,稳定性明显改善。
- 用最新征信报告回填历史申请时点,造成未来信息泄漏。
- 只看IV高就入模,忽略变量与渠道、客群、时间的耦合。
- 行为变量窗口单一,无法区分短期波动与长期趋势。
- 特征筛选只做统计筛选,不做业务方向校验,导致符号相反。
- 上线后不监控PSI与缺失率,模型悄悄失效。
数据准备与特征工程是额度模型的“地基”。把数据源梳理清楚、把征信与行为变量口径定义准确、把衍生与筛选流程标准化,后续的模型训练与额度分层才有可靠输入。建议团队建立统一的特征字典与监控看板,让每一个入模特征都能被追溯、被解释、被监控。