2、特征工程基础与评分卡模型原理

本章是信用评分特征服务 API 开发的基石。你将理解特征工程的核心概念(WOE、IV 值),掌握逻辑回归评分卡的构建流程,并明确特征服务 API 需要提供的数据类型。这些知识将直接指导后续 API 的字段设计、数据预处理与模型服务接口的开发。

2.1 特征工程核心概念:WOE 与 IV 值

在信用评分卡模型中,原始特征(如年龄、收入)通常不能直接用于逻辑回归。我们需要通过 证据权重(Weight of Evidence, WOE) 和 信息价值(Information Value, IV) 对特征进行编码与筛选。

2.1.1 WOE(证据权重)

WOE 衡量的是某个分组中“好客户”与“坏客户”分布的差异。其计算公式为:

WOE_i = ln( (Bad_i / Bad_total) / (Good_i / Good_total) )

其中:

  • Bad_i:第 i 个分组中的坏客户数量
  • Good_i:第 i 个分组中的好客户数量
  • Bad_total:全体坏客户总数
  • Good_total:全体好客户总数

WOE 值越大,表示该分组中坏客户的占比相对越高(风险越高);WOE 值越小(负值越大),表示该分组风险越低。WOE 编码将原始特征值映射为 WOE 值,使特征与目标变量(好坏客户)之间建立单调的线性关系,非常适合逻辑回归模型。

2.1.2 IV(信息价值)

IV 值用于衡量一个特征对好坏客户的区分能力。它是基于 WOE 计算的:

IV = Σ ( (Bad_i / Bad_total) - (Good_i / Good_total) ) * WOE_i

IV 值越大,特征区分能力越强。业界通用的 IV 值判断标准如下:

IV 值范围 预测能力 处理建议
< 0.02 无预测能力 建议剔除
0.02 ~ 0.10 弱预测能力 可保留,需结合业务
0.10 ~ 0.30 中等预测能力 推荐保留
0.30 ~ 0.50 强预测能力 优先保留
> 0.50 异常高(可能过拟合) 需检查业务合理性
API 设计提示: 特征服务 API 应提供 WOE 映射表查询接口,允许上游系统获取每个特征分箱对应的 WOE 值,用于实时特征编码。

2.2 逻辑回归评分卡构建流程

标准评分卡构建流程分为 6 个核心步骤,每一步都直接影响最终评分卡的质量与可解释性。

  1. 数据准备与清洗:处理缺失值、异常值,合并好坏样本标签。
  2. 特征分箱:将连续变量(如年龄)或离散变量(如职业)划分为若干组(箱),常用方法包括等距分箱、等频分箱、卡方分箱。
  3. WOE 编码:对每个分箱计算 WOE 值,用 WOE 替换原始特征值。
  4. IV 值筛选:计算每个特征的 IV 值,剔除低预测能力的特征。
  5. 逻辑回归建模:以 WOE 编码后的特征作为输入,训练逻辑回归模型,得到每个特征的系数。
  6. 评分卡刻度:将逻辑回归的预测概率转换为整数分数(如 300~850 分),并确定每个分箱的得分。
评分卡刻度公式:
Score = Offset + Factor * ln(odds)
其中 odds = p/(1-p),p 为逻辑回归预测的违约概率。Offset 和 Factor 由业务设定的基准分数和翻倍分数决定。

下面用一张流程图展示评分卡构建的完整链路:

逻辑回归评分卡构建流程 数据准备与清洗 特征分箱 WOE 编码 IV 值筛选 逻辑回归建模 评分卡刻度 说明:IV 值筛选后,剔除低 IV 特征,保留高 IV 特征进入逻辑回归建模。 评分卡刻度将模型输出概率转换为业务可读的整数分数,并支持分数随风险单调变化。

2.3 特征服务 API 需要提供的数据类型

基于评分卡构建与实时推理的需求,特征服务 API 需要支持以下 5 种核心数据类型:

数据类型 说明 API 示例字段
原始特征 用户直接输入的原始数据,如年龄、收入、职业编码 age, income, occupation_code
分箱映射 将原始特征映射到对应的分箱编号 age_bin, income_bin
WOE 值 每个分箱对应的 WOE 编码值,用于模型输入 age_woe, income_woe
IV 值 特征的 IV 值,用于特征筛选与质量监控 age_iv, income_iv
评分卡分数 最终输出的信用分数,以及每个特征的贡献分 credit_score, age_score, income_score
注意: 特征服务 API 必须保证 WOE 映射表与模型训练时完全一致。任何分箱边界的变更都需要同步更新 API 的映射配置,否则会导致线上推理结果与模型预期不一致。

下面用一张架构图展示特征服务 API 与评分卡模型之间的数据流转关系:

特征服务 API 数据流转架构 上游业务系统 特征服务 API /v1/features/woe /v1/features/iv /v1/score/calculate /v1/features/mapping 评分卡模型引擎 数据流:上游系统传入原始特征 → 特征服务 API 进行分箱映射、WOE 编码 → 评分卡模型引擎计算分数。 API 同时提供 IV 值查询接口,用于离线特征监控与模型质量评估。

2.4 本章小结

  • WOE 是特征编码的核心工具,将原始特征转换为与风险单调相关的数值。
  • IV 是特征筛选的量化指标,帮助识别高区分度特征。
  • 评分卡构建遵循“分箱 → WOE 编码 → IV 筛选 → 逻辑回归 → 刻度”的标准化流程。
  • 特征服务 API 需要同时支持原始特征、分箱映射、WOE 值、IV 值和评分卡分数 5 种数据类型,确保模型训练与线上推理的一致性。