2、特征工程基础与评分卡模型原理
本章是信用评分特征服务 API 开发的基石。你将理解特征工程的核心概念(WOE、IV 值),掌握逻辑回归评分卡的构建流程,并明确特征服务 API 需要提供的数据类型。这些知识将直接指导后续 API 的字段设计、数据预处理与模型服务接口的开发。
2.1 特征工程核心概念:WOE 与 IV 值
在信用评分卡模型中,原始特征(如年龄、收入)通常不能直接用于逻辑回归。我们需要通过 证据权重(Weight of Evidence, WOE) 和 信息价值(Information Value, IV) 对特征进行编码与筛选。
2.1.1 WOE(证据权重)
WOE 衡量的是某个分组中“好客户”与“坏客户”分布的差异。其计算公式为:
WOE_i = ln( (Bad_i / Bad_total) / (Good_i / Good_total) )
其中:
- Bad_i:第 i 个分组中的坏客户数量
- Good_i:第 i 个分组中的好客户数量
- Bad_total:全体坏客户总数
- Good_total:全体好客户总数
WOE 值越大,表示该分组中坏客户的占比相对越高(风险越高);WOE 值越小(负值越大),表示该分组风险越低。WOE 编码将原始特征值映射为 WOE 值,使特征与目标变量(好坏客户)之间建立单调的线性关系,非常适合逻辑回归模型。
2.1.2 IV(信息价值)
IV 值用于衡量一个特征对好坏客户的区分能力。它是基于 WOE 计算的:
IV = Σ ( (Bad_i / Bad_total) - (Good_i / Good_total) ) * WOE_i
IV 值越大,特征区分能力越强。业界通用的 IV 值判断标准如下:
| IV 值范围 | 预测能力 | 处理建议 |
|---|---|---|
| < 0.02 | 无预测能力 | 建议剔除 |
| 0.02 ~ 0.10 | 弱预测能力 | 可保留,需结合业务 |
| 0.10 ~ 0.30 | 中等预测能力 | 推荐保留 |
| 0.30 ~ 0.50 | 强预测能力 | 优先保留 |
| > 0.50 | 异常高(可能过拟合) | 需检查业务合理性 |
API 设计提示: 特征服务 API 应提供 WOE 映射表查询接口,允许上游系统获取每个特征分箱对应的 WOE 值,用于实时特征编码。
2.2 逻辑回归评分卡构建流程
标准评分卡构建流程分为 6 个核心步骤,每一步都直接影响最终评分卡的质量与可解释性。
- 数据准备与清洗:处理缺失值、异常值,合并好坏样本标签。
- 特征分箱:将连续变量(如年龄)或离散变量(如职业)划分为若干组(箱),常用方法包括等距分箱、等频分箱、卡方分箱。
- WOE 编码:对每个分箱计算 WOE 值,用 WOE 替换原始特征值。
- IV 值筛选:计算每个特征的 IV 值,剔除低预测能力的特征。
- 逻辑回归建模:以 WOE 编码后的特征作为输入,训练逻辑回归模型,得到每个特征的系数。
- 评分卡刻度:将逻辑回归的预测概率转换为整数分数(如 300~850 分),并确定每个分箱的得分。
评分卡刻度公式:
Score = Offset + Factor * ln(odds)
其中 odds = p/(1-p),p 为逻辑回归预测的违约概率。Offset 和 Factor 由业务设定的基准分数和翻倍分数决定。
Score = Offset + Factor * ln(odds)
其中 odds = p/(1-p),p 为逻辑回归预测的违约概率。Offset 和 Factor 由业务设定的基准分数和翻倍分数决定。
下面用一张流程图展示评分卡构建的完整链路:
2.3 特征服务 API 需要提供的数据类型
基于评分卡构建与实时推理的需求,特征服务 API 需要支持以下 5 种核心数据类型:
| 数据类型 | 说明 | API 示例字段 |
|---|---|---|
| 原始特征 | 用户直接输入的原始数据,如年龄、收入、职业编码 | age, income, occupation_code |
| 分箱映射 | 将原始特征映射到对应的分箱编号 | age_bin, income_bin |
| WOE 值 | 每个分箱对应的 WOE 编码值,用于模型输入 | age_woe, income_woe |
| IV 值 | 特征的 IV 值,用于特征筛选与质量监控 | age_iv, income_iv |
| 评分卡分数 | 最终输出的信用分数,以及每个特征的贡献分 | credit_score, age_score, income_score |
注意: 特征服务 API 必须保证 WOE 映射表与模型训练时完全一致。任何分箱边界的变更都需要同步更新 API 的映射配置,否则会导致线上推理结果与模型预期不一致。
下面用一张架构图展示特征服务 API 与评分卡模型之间的数据流转关系:
2.4 本章小结
- WOE 是特征编码的核心工具,将原始特征转换为与风险单调相关的数值。
- IV 是特征筛选的量化指标,帮助识别高区分度特征。
- 评分卡构建遵循“分箱 → WOE 编码 → IV 筛选 → 逻辑回归 → 刻度”的标准化流程。
- 特征服务 API 需要同时支持原始特征、分箱映射、WOE 值、IV 值和评分卡分数 5 种数据类型,确保模型训练与线上推理的一致性。