4. 模型评分基础
在模型评分与业务规则融合决策的实战中,评分是连接数据与策略的“通用语言”。无论后续是额度审批、风险定价还是营销响应,第一步都要把模型输出转化为可解释、可比较、可落地的分数。本节围绕评分模型类型、评分卡构建流程、WOE/IV 以及逻辑回归与树模型的评分输出展开,帮助你建立从原始特征到业务分数的完整链路认知。
一、核心原理:评分模型的三类输出形态
评分模型并非只有一种形态。按输出目标与业务含义,常见可分为三类:
- 风险概率型评分:模型直接输出违约、欺诈或流失的概率,如逻辑回归的 sigmoid 输出。它适合需要精确概率参与期望损失计算的场景。
- 信用评分卡分数:将概率通过尺度变换映射为 300~850 之类的整数分,分数越高代表信用越好。评分卡强调可解释性与稳定性,广泛用于信贷审批。
- 排序型评分:树模型或集成模型输出的原始分数,如 XGBoost 的 margin 值。它不追求绝对概率校准,而关注样本间的相对排序,适合排序、筛选与规则阈值切分。
三类输出的关键差异在于“可解释性”与“校准度”的权衡。评分卡分数天然可解释,但拟合能力有限;树模型排序能力强,但原始输出需要额外校准才能当作概率使用。理解这一点,是后续融合业务规则的前提。
二、方法流程:评分卡构建的标准步骤
评分卡构建有一套成熟流程,通常包括以下环节:
- 目标定义与样本划分:明确好坏样本定义,如“逾期 90 天以上为坏”,并按时间切分训练集、验证集与跨时间测试集。
- 特征分箱:对连续变量做等频、等距或卡方分箱,对类别变量做合并,形成具有业务含义的分箱区间。
- WOE 编码:将每个分箱映射为证据权重,使特征与目标之间呈现单调关系。
- IV 筛选:计算信息价值,剔除预测力过弱或过强的特征。
- 逻辑回归建模:以 WOE 编码后的特征训练逻辑回归,得到系数。
- 评分尺度变换:将概率转换为标准分数,确定基准分与 PDO。
- 验证与监控:检查 KS、AUC、PSI 等指标,确保跨时间稳定。
评分尺度变换公式:Score = A − B × ln(odds),其中 B = PDO / ln(2),A = 基准分 + B × ln(基准 odds)。PDO 表示 odds 翻倍时分数下降的幅度,常用 20 或 50。
三、WOE 与 IV:分箱质量的量化标尺
WOE(Weight of Evidence)衡量某个分箱中好坏样本分布的差异,IV(Information Value)则是各分箱 WOE 的加权和,用于整体评估特征预测力。
WOE_i = ln( (Good_i / Good_total) / (Bad_i / Bad_total) )
IV = Σ ( (Good_i / Good_total) − (Bad_i / Bad_total) ) × WOE_i
实践中,IV 的经验判断如下表所示:
| IV 取值范围 | 预测力判断 | 处理建议 |
|---|---|---|
| < 0.02 | 几乎无预测力 | 剔除 |
| 0.02 ~ 0.1 | 弱预测力 | 谨慎保留,结合业务判断 |
| 0.1 ~ 0.3 | 中等预测力 | 优先保留 |
| 0.3 ~ 0.5 | 强预测力 | 重点使用,检查稳定性 |
| > 0.5 | 过强,疑似泄漏 | 排查目标泄漏或时间穿越 |
IV 过高不一定是好事。若某特征 IV 超过 0.5,往往意味着该特征包含了未来信息或与目标定义直接相关,上线后可能失效甚至引发合规问题。
四、逻辑回归与树模型的评分输出
逻辑回归输出概率后,可直接代入评分尺度公式得到评分卡分数。树模型则不同,以 XGBoost 为例,其原始输出为 margin,需要经过 sigmoid 变换才能得到概率:
# 逻辑回归评分卡分数计算示例
import numpy as np
def score_from_prob(prob, base_score=600, base_odds=50, pdo=20):
B = pdo / np.log(2)
A = base_score + B * np.log(base_odds)
odds = prob / (1 - prob)
return A - B * np.log(odds)
# XGBoost 原始 margin 转概率
def margin_to_prob(margin):
return 1 / (1 + np.exp(-margin))
树模型输出概率后,同样可以映射为分数,但需注意其概率校准通常不如逻辑回归。若业务要求分数具备绝对概率含义,应先做 Platt 校准或等渗回归,再进入评分变换。
在融合决策场景中,逻辑回归评分卡适合作为“主评分”提供稳定基准,树模型评分适合作为“辅助信号”捕捉非线性交互。两者分数应分别标准化后再进入规则引擎,避免量纲不一致导致阈值失效。
五、案例与复盘:评分卡上线后的典型误区
某消费金融团队曾用逻辑回归构建申请评分卡,训练集 AUC 达到 0.78,但上线三个月后 KS 从 0.42 降至 0.28。复盘发现三个问题:
- 分箱边界过拟合:连续变量按训练集等频分箱,跨时间后分布漂移,导致 WOE 映射失真。
- IV 筛选忽略业务含义:保留了 IV 高但业务上不合理的特征,如“近 7 天查询次数”,实际是贷后行为泄漏。
- 评分尺度未对齐:基准 odds 设置与业务实际通过率不匹配,导致分数阈值切分后通过率异常。
修正方案是:改用跨时间稳定的分箱策略,引入 PSI 监控;对每个特征做业务合理性评审;并用验证集重新校准基准分与 PDO。调整后 KS 回升至 0.38,且分数分布更符合业务预期。
核心结论:评分模型的价值不仅在于区分能力,更在于跨时间的稳定性与业务可解释性。WOE/IV 是特征筛选的量化工具,逻辑回归评分卡提供可解释基准,树模型评分补充非线性信号。只有把评分输出与业务规则放在同一尺度上,融合决策才能真正落地。