3. 准确率与错误率:最直观但最危险的评估指标

在逾期预测模型评估中,准确率(Accuracy) 和 错误率(Error Rate) 是最基础、最直观的指标。它们衡量模型整体预测正确的比例,但在金融风控场景中,这两个指标往往隐藏着巨大的陷阱。

3.1 准确率(Accuracy)公式与计算

准确率定义为模型预测正确的样本数占总样本数的比例。其公式为:

Accuracy = (TP + TN) / (TP + TN + FP + FN)

其中:

  • TP(True Positive):实际逾期,模型预测逾期(正确)
  • TN(True Negative):实际未逾期,模型预测未逾期(正确)
  • FP(False Positive):实际未逾期,模型预测逾期(误报)
  • FN(False Negative):实际逾期,模型预测未逾期(漏报)

计算示例:

假设某逾期预测模型在测试集上的混淆矩阵如下:

预测逾期 预测未逾期
实际逾期 TP = 80 FN = 20
实际未逾期 FP = 100 TN = 800

则准确率计算为:

Accuracy = (80 + 800) / (80 + 800 + 100 + 20) = 880 / 1000 = 0.88

模型准确率达到 88%,看起来表现不错。

3.2 错误率(Error Rate)公式

错误率是准确率的互补指标,表示模型预测错误的样本比例:

Error Rate = (FP + FN) / (TP + TN + FP + FN) = 1 - Accuracy

沿用上例:

Error Rate = (100 + 20) / 1000 = 120 / 1000 = 0.12

错误率为 12%,似乎模型只有少量预测错误。

关键认知: 准确率和错误率只关注"对错数量",完全忽略了错误类型的代价差异。在风控中,漏掉一个逾期客户(FN)的损失,可能远大于误判一个正常客户(FP)的成本。

3.3 样本不平衡场景下的局限性

金融风控数据天然存在严重的样本不平衡问题——正常还款客户远多于逾期客户。以信用卡逾期为例,逾期率通常只有 1%~5%。在这种场景下,准确率会给出极具误导性的评价。

极端案例:

假设某数据集有 10,000 个样本,其中逾期客户仅占 1%(100 人),正常客户占 99%(9,900 人)。

一个"愚蠢"模型——永远预测"未逾期"——的混淆矩阵如下:

预测逾期 预测未逾期
实际逾期 TP = 0 FN = 100
实际未逾期 FP = 0 TN = 9,900

该模型的准确率:

Accuracy = (0 + 9900) / 10000 = 0.99

准确率高达 99%!但这个模型完全没有识别逾期客户的能力,在风控业务中毫无价值。

⚠️ 风控警示: 在逾期率仅为 1% 的数据集上,一个"全部预测为正常"的模型就能获得 99% 的准确率。如果仅凭准确率评估模型,你会被这个虚假的"高分"欺骗,部署一个实际上无法拦截任何风险的无效模型。

下表总结了准确率在平衡与不平衡场景下的表现差异:

场景 逾期率 模型策略 准确率 实际风控能力
平衡数据集 50% 随机猜测 ~50% 无
平衡数据集 50% 优秀模型 85%+ 强
不平衡(风控典型) 1% 全部预测正常 99% 零(完全无效)
不平衡(风控典型) 1% 有效模型 98%~99% 中等~强
💡 实践建议: 在风控建模中,永远不要单独使用准确率评估模型。必须结合精确率(Precision)、召回率(Recall)、F1-score、AUC-ROC 等对不平衡数据更鲁棒的指标。准确率只有在逾期率接近 50% 的平衡场景下才有参考价值。
准确率在样本不平衡场景下的局限性 准确率在样本不平衡场景下的局限性 平衡场景(逾期率 50%) 正常客户 50% 逾期客户 50% 模型:随机猜测准确率 ≈ 50% 准确率能真实反映模型性能 ✅ 准确率有效,可区分模型好坏 不平衡场景(逾期率 1%) 正常客户 99% 逾期客户 1% 模型:全部预测正常 准确率 = 99% 准确率虚高,模型实际无效 ❌ 准确率完全失效,误导决策

3.4 为什么准确率在风控中不可靠?——根本原因

准确率失效的根本原因在于:它给每个样本赋予了相同的权重,忽略了不同错误类型带来的业务代价差异。

  • 漏报(FN)代价极高:模型预测客户不会逾期,但实际逾期了。这意味着金融机构将资金借给了高风险客户,可能面临本金损失。
  • 误报(FP)代价相对较低:模型预测客户会逾期,但实际正常还款。这通常意味着拒绝了优质客户,损失了潜在的利息收入,但不会造成本金损失。

在逾期率极低的情况下,模型只要"猜对"绝大多数正常客户,就能获得很高的准确率,即使它完全忽略了所有逾期客户。这种模型在业务上不仅无用,甚至有害——因为它给决策者一种"模型表现很好"的虚假安全感。

核心结论: 准确率只适合在类别分布均衡且错误代价对称的场景下使用。在金融风控的逾期预测中,这两个条件都不满足,因此准确率只能作为辅助参考,绝不能作为主要评估指标。