3. 准确率与错误率:最直观但最危险的评估指标
在逾期预测模型评估中,准确率(Accuracy) 和 错误率(Error Rate) 是最基础、最直观的指标。它们衡量模型整体预测正确的比例,但在金融风控场景中,这两个指标往往隐藏着巨大的陷阱。
3.1 准确率(Accuracy)公式与计算
准确率定义为模型预测正确的样本数占总样本数的比例。其公式为:
Accuracy = (TP + TN) / (TP + TN + FP + FN)
其中:
- TP(True Positive):实际逾期,模型预测逾期(正确)
- TN(True Negative):实际未逾期,模型预测未逾期(正确)
- FP(False Positive):实际未逾期,模型预测逾期(误报)
- FN(False Negative):实际逾期,模型预测未逾期(漏报)
计算示例:
假设某逾期预测模型在测试集上的混淆矩阵如下:
| 预测逾期 | 预测未逾期 | |
|---|---|---|
| 实际逾期 | TP = 80 | FN = 20 |
| 实际未逾期 | FP = 100 | TN = 800 |
则准确率计算为:
Accuracy = (80 + 800) / (80 + 800 + 100 + 20) = 880 / 1000 = 0.88
模型准确率达到 88%,看起来表现不错。
3.2 错误率(Error Rate)公式
错误率是准确率的互补指标,表示模型预测错误的样本比例:
Error Rate = (FP + FN) / (TP + TN + FP + FN) = 1 - Accuracy
沿用上例:
Error Rate = (100 + 20) / 1000 = 120 / 1000 = 0.12
错误率为 12%,似乎模型只有少量预测错误。
关键认知: 准确率和错误率只关注"对错数量",完全忽略了错误类型的代价差异。在风控中,漏掉一个逾期客户(FN)的损失,可能远大于误判一个正常客户(FP)的成本。
3.3 样本不平衡场景下的局限性
金融风控数据天然存在严重的样本不平衡问题——正常还款客户远多于逾期客户。以信用卡逾期为例,逾期率通常只有 1%~5%。在这种场景下,准确率会给出极具误导性的评价。
极端案例:
假设某数据集有 10,000 个样本,其中逾期客户仅占 1%(100 人),正常客户占 99%(9,900 人)。
一个"愚蠢"模型——永远预测"未逾期"——的混淆矩阵如下:
| 预测逾期 | 预测未逾期 | |
|---|---|---|
| 实际逾期 | TP = 0 | FN = 100 |
| 实际未逾期 | FP = 0 | TN = 9,900 |
该模型的准确率:
Accuracy = (0 + 9900) / 10000 = 0.99
准确率高达 99%!但这个模型完全没有识别逾期客户的能力,在风控业务中毫无价值。
⚠️ 风控警示: 在逾期率仅为 1% 的数据集上,一个"全部预测为正常"的模型就能获得 99% 的准确率。如果仅凭准确率评估模型,你会被这个虚假的"高分"欺骗,部署一个实际上无法拦截任何风险的无效模型。
下表总结了准确率在平衡与不平衡场景下的表现差异:
| 场景 | 逾期率 | 模型策略 | 准确率 | 实际风控能力 |
|---|---|---|---|---|
| 平衡数据集 | 50% | 随机猜测 | ~50% | 无 |
| 平衡数据集 | 50% | 优秀模型 | 85%+ | 强 |
| 不平衡(风控典型) | 1% | 全部预测正常 | 99% | 零(完全无效) |
| 不平衡(风控典型) | 1% | 有效模型 | 98%~99% | 中等~强 |
💡 实践建议: 在风控建模中,永远不要单独使用准确率评估模型。必须结合精确率(Precision)、召回率(Recall)、F1-score、AUC-ROC 等对不平衡数据更鲁棒的指标。准确率只有在逾期率接近 50% 的平衡场景下才有参考价值。
3.4 为什么准确率在风控中不可靠?——根本原因
准确率失效的根本原因在于:它给每个样本赋予了相同的权重,忽略了不同错误类型带来的业务代价差异。
- 漏报(FN)代价极高:模型预测客户不会逾期,但实际逾期了。这意味着金融机构将资金借给了高风险客户,可能面临本金损失。
- 误报(FP)代价相对较低:模型预测客户会逾期,但实际正常还款。这通常意味着拒绝了优质客户,损失了潜在的利息收入,但不会造成本金损失。
在逾期率极低的情况下,模型只要"猜对"绝大多数正常客户,就能获得很高的准确率,即使它完全忽略了所有逾期客户。这种模型在业务上不仅无用,甚至有害——因为它给决策者一种"模型表现很好"的虚假安全感。
核心结论: 准确率只适合在类别分布均衡且错误代价对称的场景下使用。在金融风控的逾期预测中,这两个条件都不满足,因此准确率只能作为辅助参考,绝不能作为主要评估指标。