3. 特征工程基础:特征的定义、类型与在线获取
在信用评分系统中,特征是描述借款人信用状况、还款能力与行为模式的量化指标。特征工程是将原始数据转化为模型可理解、可学习的数值表示的过程,直接决定了评分模型的性能上限。本章将系统讲解特征的定义、类型、在信用评分中的重要性,以及在线推理场景下的存储与获取方式。
3.1 特征的定义与核心要素
特征(Feature)是从原始数据中提取的、用于预测目标变量(如违约概率)的数值或类别属性。一个有效的信用评分特征应满足以下要素:
| 要素 | 说明 | 信用评分示例 |
|---|---|---|
| 区分度 | 能有效区分好客户与坏客户 | 近6个月逾期次数 |
| 稳定性 | 随时间推移分布变化小 | 年龄、收入负债比 |
| 可解释性 | 业务人员能理解其含义 | 信用卡使用率 |
| 合规性 | 不涉及敏感或歧视性信息 | 排除种族、性别等字段 |
| 时效性 | 能反映当前信用状态 | 最近3个月查询次数 |
3.2 特征类型与处理方式
信用评分中的特征按数据类型可分为三类,每类需要不同的预处理与编码方法:
3.2.1 数值型特征
数值型特征(Numeric Feature)是可直接参与数学运算的连续或离散数值。常见示例包括:
- 连续型:年龄、收入、负债总额、信用额度
- 离散型:信用卡张数、贷款笔数、近6个月查询次数
数值型特征通常需要经过缺失值填充、异常值截断、标准化/归一化等处理,以消除量纲影响并提升模型收敛速度。
3.2.2 类别型特征
类别型特征(Categorical Feature)表示有限个离散取值,取值之间无天然顺序关系。常见示例包括:
- 无序类别:婚姻状况、职业类型、居住城市、学历
- 有序类别:教育等级(高中/本科/硕士)、收入等级(低/中/高)
类别型特征在输入模型前必须进行编码。信用评分中常用的编码方式包括:
| 编码方式 | 适用场景 | 优点 | 缺点 |
|---|---|---|---|
| 独热编码 | 无序类别,类别数较少 | 无偏序假设,模型可解释 | 维度爆炸,稀疏 |
| 标签编码 | 有序类别 | 保留顺序信息,维度不变 | 可能引入虚假数值关系 |
| WOE编码 | 二分类目标变量 | 与违约率单调相关,可解释强 | 需先分箱,依赖训练数据 |
| 目标编码 | 高基数类别 | 压缩维度,捕捉类别与目标关系 | 易过拟合,需交叉验证 |
3.2.3 文本型特征
文本型特征(Text Feature)来源于非结构化文本数据,如借款用途描述、工作单位名称、通讯录备注等。在信用评分中,文本特征通常通过以下方式提取:
- 关键词匹配:识别高风险关键词(如“赌博”、“套现”)
- TF-IDF / Word2Vec:将文本转化为向量,捕捉语义信息
- 预训练语言模型:使用BERT等模型提取深层语义特征
3.3 特征工程在信用评分中的重要性
特征工程是信用评分模型成功的关键环节,其重要性体现在以下四个维度:
- 提升模型区分能力:好的特征能放大好客户与坏客户之间的差异,使模型更容易找到决策边界。例如,将“收入”与“负债”组合为“收入负债比”,区分度远高于单独使用。
- 增强模型稳定性:通过特征分箱、WOE变换等操作,降低特征对极端值和分布漂移的敏感度,使模型在跨时间、跨客群场景下保持稳定。
- 保障模型可解释性:信用评分受监管要求,必须可解释。特征工程阶段通过选择业务含义清晰、与违约率单调相关的特征,使评分卡模型(如逻辑回归)的每个系数都有业务含义。
- 降低在线推理延迟:在线推理场景下,特征计算必须在毫秒级完成。通过特征工程提前设计好计算逻辑、缓存高频特征、压缩特征维度,可显著降低推理耗时。
3.4 特征存储与在线获取方式
在信用评分在线推理链路中,特征必须能够在毫秒级被获取并输入模型。特征存储与获取方式的设计直接影响推理延迟与系统稳定性。以下是三种主流方案:
3.4.1 特征存储方案对比
| 存储方案 | 存储介质 | 读取延迟 | 适用场景 | 典型技术 |
|---|---|---|---|---|
| 在线特征存储 | 内存 / Redis | < 5ms | 高频实时特征(如近7天查询次数) | Redis Cluster, Memcached |
| 近线特征存储 | SSD / HBase | 10-50ms | 低频更新特征(如学历、职业) | HBase, Cassandra |
| 离线特征存储 | HDFS / 对象存储 | 秒级 | 批量计算特征(如年度收入) | Hive, Parquet, S3 |
3.4.2 在线特征获取流程
在线推理时,特征获取通常遵循以下步骤:
- 请求解析:接收用户ID或申请单号,解析出查询主键
- 特征路由:根据特征元数据配置,确定每个特征来自哪个存储层
- 并行读取:同时从在线存储(Redis)和近线存储(HBase)拉取特征
- 实时计算:对需要实时聚合的特征(如近30天消费均值)进行在线计算
- 特征拼接:将各来源特征按特征ID合并为完整的特征向量
- 输入模型:将特征向量传入评分模型进行推理
3.5 特征生命周期管理
特征并非一成不变,在信用评分系统的持续运营中,需要建立完整的特征生命周期管理机制:
| 阶段 | 关键活动 | 输出物 |
|---|---|---|
| 特征设计 | 业务分析、数据探索、特征衍生 | 特征定义文档、特征候选列表 |
| 特征开发 | 数据清洗、编码转换、存储实现 | 特征计算代码、存储配置 |
| 特征验证 | 区分度评估、稳定性测试、PSI监测 | 特征评估报告、准入/淘汰决策 |
| 特征上线 | 在线存储预热、灰度发布、延迟监控 | 上线Checklist、监控看板 |
| 特征退役 | 效果衰减评估、替代特征就绪、下线清理 | 退役申请、存储清理记录 |
3.6 本章小结
特征工程是信用评分在线推理链路的基石。本章从特征的定义出发,系统介绍了数值型、类别型、文本型三类特征及其处理方式,阐述了特征工程在提升区分度、稳定性、可解释性和降低延迟方面的重要作用,并给出了在线推理场景下特征存储与获取的架构方案。掌握特征工程基础,是后续构建高性能信用评分模型的前提。