2、风控模型评估基础：混淆矩阵、准确率、精确率、召回率、F1-score 的定义与计算
在 Champion Challenger 框架中，评估模型效果是决策的核心环节。混淆矩阵（Confusion Matrix）是几乎所有分类模型评估的起点，它直观地展示了模型预测结果与真实标签之间的对应关系。基于混淆矩阵，可以衍生出准确率、精确率、召回率和 F1-score 等关键指标，帮助风控团队从不同维度衡量模型的表现。
2.1 混淆矩阵：四类预测结果
对于二分类风控模型（如“好客户” vs “坏客户”），混淆矩阵是一个 2×2 的表格，行代表真实标签，列代表模型预测标签。四个单元格分别对应：
| 预测为正（坏客户） | 预测为负（好客户） | |
|---|---|---|
| 真实为正（坏客户） | TP（真正例） 模型正确识别出坏客户 |
FN（假负例） 模型漏掉了坏客户（风险最大） |
| 真实为负（好客户） | FP（假正例） 模型误伤了优质客户（影响业务） |
TN（真负例） 模型正确识别出好客户 |
风控视角解读：在信贷风控中，通常将“坏客户（逾期/违约）”定义为正类（Positive）。FN（漏报）意味着模型放过了高风险客户，直接导致资金损失；FP（误报）意味着拒绝了优质客户，影响业务增长和用户体验。两者需要根据业务成本进行权衡。
2.2 核心评估指标定义与计算
基于混淆矩阵的四个基础数值，可以计算以下五个核心指标。每个指标都从不同角度反映了模型的质量。
| 指标 | 公式 | 含义 | 风控场景解读 |
|---|---|---|---|
| 准确率（Accuracy） | (TP + TN) / (TP + TN + FP + FN) | 所有预测中，预测正确的比例 | 在样本不平衡时可能失真（如坏客户仅占1%，全判为好客户准确率也有99%） |
| 精确率（Precision） | TP / (TP + FP) | 预测为坏客户的样本中，真正是坏客户的比例 | 衡量模型“抓坏人”的准确性；精确率低意味着误伤好客户过多 |
| 召回率（Recall） | TP / (TP + FN) | 所有真实坏客户中，模型成功识别出的比例 | 衡量模型“抓坏人”的覆盖率；召回率低意味着漏掉了大量风险 |
| F1-score | 2 × (P × R) / (P + R) | 精确率和召回率的调和平均数 | 综合平衡精确率和召回率，适用于需要同时控制误报和漏报的场景 |
| 特异度（Specificity） | TN / (TN + FP) | 所有真实好客户中，模型正确识别出的比例 | 衡量模型对好客户的保护能力；特异度高意味着误伤少 |
计算示例：假设某风控模型在测试集上的预测结果如下：TP=80, FN=20, FP=30, TN=870。则：
Accuracy = (80+870)/(80+20+30+870) = 950/1000 = 95%
Precision = 80/(80+30) = 80/110 ≈ 72.7%
Recall = 80/(80+20) = 80/100 = 80%
F1-score = 2×(0.727×0.80)/(0.727+0.80) ≈ 76.2%
Accuracy = (80+870)/(80+20+30+870) = 950/1000 = 95%
Precision = 80/(80+30) = 80/110 ≈ 72.7%
Recall = 80/(80+20) = 80/100 = 80%
F1-score = 2×(0.727×0.80)/(0.727+0.80) ≈ 76.2%
2.3 精确率 vs 召回率：风控中的权衡
精确率和召回率通常是一对矛盾指标。提高模型对坏客户的识别门槛（更严格），会减少 FP（误报），但可能增加 FN（漏报），导致精确率上升、召回率下降。反之，降低门槛会提高召回率，但可能引入更多 FP，降低精确率。
- 高召回率优先场景：反欺诈、高风险拦截。宁可误伤，不可放过。例如：新用户注册环节的欺诈检测。
- 高精确率优先场景：营销活动、额度提升。宁可放过，不可误伤。例如：对优质客户的提额邀请。
- 平衡场景：常规信贷审批。需要同时控制坏账率和通过率，F1-score 是重要参考。
2.4 F1-score：调和平均的平衡艺术
F1-score 是精确率（P）和召回率（R）的调和平均数，而非算术平均数。调和平均数对较小值更敏感，因此只有当 P 和 R 都较高时，F1-score 才会高。如果其中一个指标很低，F1-score 会显著下降。
常见误区：不要将 F1-score 与准确率（Accuracy）混用。在风控场景中，当坏客户比例极低（如千分之一）时，准确率可能高达 99.9%，但模型可能完全没有识别能力（全部判为好客户）。此时 F1-score 为 0，能更真实地反映模型失效。因此，在样本不平衡的风控数据集中，F1-score 比准确率更具参考价值。
2.5 指标选择指南
在 Champion Challenger 评估中，通常不会只依赖单一指标。以下是一个指标选择参考表：
| 评估目标 | 首选指标 | 辅助指标 | 适用场景 |
|---|---|---|---|
| 最大化风险拦截 | 召回率（Recall） | F1-score | 反欺诈、黑名单拦截 |
| 最小化误伤 | 精确率（Precision） | 特异度（Specificity） | 优质客户营销、提额 |
| 综合平衡 | F1-score | 精确率 + 召回率 | 常规信贷审批 |
| 业务成本敏感 | 自定义损失函数 | 混淆矩阵 + 成本权重 | 需要量化 FP/FN 成本的场景 |