3. 模型效果评估指标（上）：混淆矩阵、准确率、精确率、召回率、F1-score 的定义与计算公式
在信用评分模型开发中，评估模型效果是决定模型能否上线、能否作为 Champion 模型的核心环节。本章聚焦于分类模型最基础的评估指标：混淆矩阵、准确率、精确率、召回率与 F1-score。这些指标构成了模型效果对比的基石，也是后续章节中 Champion 实验方法中模型筛选与验证的必备工具。
3.1 混淆矩阵：评估的起点
混淆矩阵（Confusion Matrix）是二分类问题中最直观的评估工具。它将模型预测结果与真实标签进行交叉统计，形成四个基本单元：
| 真实 \ 预测 | 预测为正类（1） | 预测为负类（0） |
|---|---|---|
| 实际为正类（1） | TP（True Positive） 正确预测为违约 |
FN（False Negative） 漏报，实际违约但预测为正常 |
| 实际为负类（0） | FP（False Positive） 误报，实际正常但预测为违约 |
TN（True Negative） 正确预测为正常 |
3.2 核心评估指标定义与计算公式
基于混淆矩阵的四个基本单元，可以推导出以下五个核心评估指标。每个指标从不同角度衡量模型性能，在信用评分中各有侧重。
3.2.1 准确率（Accuracy）
准确率衡量模型整体预测正确的比例，即所有样本中预测正确的占比。
Accuracy = (TP + TN) / (TP + TN + FP + FN)3.2.2 精确率（Precision）
精确率衡量模型预测为正类的样本中，实际为正类的比例。在信用评分中，精确率反映了模型识别出的“违约客户”中有多少是真正的违约客户。
Precision = TP / (TP + FP)精确率越高，说明模型误判正常客户为违约客户的比例越低，即误拒成本越低。
3.2.3 召回率（Recall）
召回率衡量实际为正类的样本中，被模型正确预测为正类的比例。在信用评分中，召回率反映了模型能够识别出多少比例的真正违约客户。
Recall = TP / (TP + FN)召回率越高，说明模型漏报违约客户的比例越低，即信用风险敞口越小。
3.2.4 F1-score
F1-score 是精确率和召回率的调和平均数，综合衡量模型的精确性与全面性。当精确率和召回率需要平衡时，F1-score 是最常用的单一指标。
F1-score = 2 * (Precision * Recall) / (Precision + Recall)F1-score 的取值范围为 [0, 1]，值越大表示模型性能越好。当精确率和召回率都较高时，F1-score 才会接近 1。
3.3 指标对比与信用评分场景选择
不同指标在信用评分中的重要性不同，需要根据业务目标选择重点关注指标。下表总结了各指标的适用场景与权衡关系：
| 指标 | 关注点 | 信用评分场景适用性 | 局限性 |
|---|---|---|---|
| 准确率 | 整体正确率 | 仅适用于平衡样本 | 不平衡样本下严重失真 |
| 精确率 | 误拒成本 | 高精确率减少优质客户流失 | 可能漏掉大量违约客户 |
| 召回率 | 风险覆盖 | 高召回率降低信用风险敞口 | 可能误拒大量正常客户 |
| F1-score | 精确率与召回率平衡 | 模型 Champion 筛选首选指标 | 无法区分精确率与召回率的相对重要性 |
3.4 计算示例
假设某信用评分模型在测试集上的预测结果如下：
- TP = 80（正确识别出 80 个违约客户）
- FN = 20（漏报了 20 个违约客户）
- FP = 30（误判了 30 个正常客户为违约）
- TN = 870（正确识别出 870 个正常客户）
根据公式计算：
Accuracy = (80 + 870) / (80 + 870 + 20 + 30) = 950 / 1000 = 0.95
Precision = 80 / (80 + 30) = 80 / 110 ≈ 0.727
Recall = 80 / (80 + 20) = 80 / 100 = 0.80
F1-score = 2 * (0.727 * 0.80) / (0.727 + 0.80) ≈ 2 * 0.5816 / 1.527 ≈ 0.762从结果可以看出，虽然准确率高达 95%，但精确率仅为 72.7%，说明模型误判了较多正常客户。F1-score 为 0.762，综合反映了模型在精确率和召回率之间的平衡表现。