2. 核心评估指标体系
在风控模型上线前，必须通过一套严谨的指标体系来量化其区分好坏用户的能力。本章将逐一拆解准确率、精确率、召回率、F1-score、ROC曲线、AUC、KS统计量以及Lift/Gain图，并说明它们在风控场景中的实际含义与适用边界。
2.1 混淆矩阵：一切指标的基础
所有分类指标都源于混淆矩阵的四个基本元素。在风控场景中，通常将“逾期/坏客户”定义为正类（Positive），将“正常/好客户”定义为负类（Negative）。
| 实际 \ 预测 | 预测为正（坏客户） | 预测为负（好客户） |
|---|---|---|
| 实际为正（坏客户） | TP（真正例） 模型正确识别出的坏客户 |
FN（假负例） 模型遗漏的坏客户 |
| 实际为负（好客户） | FP（假正例） 模型误伤的好客户 |
TN（真负例） 模型正确识别出的好客户 |
风控视角提示： 在信贷风控中，FP（误伤好客户）会损失业务收入，FN（遗漏坏客户）则直接造成资金损失。不同业务阶段对FP和FN的容忍度不同，这是后续选择优化指标的关键。
2.2 核心指标定义与计算
以下五个指标是风控模型评估的“标配”，每个指标都从不同角度反映了模型的表现。
| 指标 | 公式 | 风控含义 | 适用场景 |
|---|---|---|---|
| 准确率 (Accuracy) | (TP + TN) / (TP + TN + FP + FN) | 所有预测中，猜对的比例 | 样本均衡时的总体参考 |
| 精确率 (Precision) | TP / (TP + FP) | 模型预测为“坏客户”的人中，真正是坏客户的比例 | 追求“抓得准”，减少误伤 |
| 召回率 (Recall) | TP / (TP + FN) | 所有真正的坏客户中，模型成功识别出的比例 | 追求“抓得全”，减少遗漏 |
| F1-score | 2 * (P * R) / (P + R) | 精确率与召回率的调和平均 | 需要平衡精确率与召回率时 |
| 特异度 (Specificity) | TN / (TN + FP) | 所有好客户中，模型正确放行的比例 | 评估对好客户的保护能力 |
关键认知： 在风控领域，精确率和召回率往往存在“跷跷板效应”。提高精确率（更严格）通常会降低召回率（放过更多坏人）；反之亦然。F1-score 是寻找平衡点的常用工具。
2.3 ROC曲线与AUC
ROC曲线（Receiver Operating Characteristic Curve）通过动态调整分类阈值，绘制出真正率（TPR，即召回率）与假正率（FPR，即1-特异度）之间的关系曲线。AUC（Area Under the Curve）则是曲线下的面积，用于衡量模型的整体排序能力。
- TPR（真正率） = TP / (TP + FN) = Recall
- FPR（假正率） = FP / (FP + TN)
- AUC 取值范围：0.5（随机猜测）~ 1.0（完美模型）。风控中通常要求 AUC > 0.75 才具备上线价值。
常见误区： AUC 衡量的是模型的排序能力，而非绝对概率的准确性。一个模型可能将所有坏客户的评分都排在好客户之前（AUC很高），但评分绝对值可能整体偏高或偏低。在风控中，我们更关心排序能力，因为最终决策依赖于阈值切割。
2.4 KS统计量
KS（Kolmogorov-Smirnov）统计量是风控领域最常用的模型区分度指标之一。它衡量的是模型对好坏客户的最大区分能力，即累计好客户占比与累计坏客户占比之间的最大差值。
- 计算公式：KS = max( |累计坏客户占比 - 累计好客户占比| )
- 取值范围：0 ~ 1。KS 越高，模型区分能力越强。
- 风控经验阈值：
- KS < 0.2：模型区分能力弱，不建议上线
- 0.2 ≤ KS < 0.4：模型可用，但需持续监控
- 0.4 ≤ KS < 0.6：模型区分能力强，表现优秀
- KS ≥ 0.6：需警惕过拟合或特征泄漏
实战建议： KS 统计量对样本分布敏感。在训练集上 KS 很高（如 0.7），但在测试集上骤降（如 0.3），通常意味着模型过拟合或存在时间穿越。建议在 OOT（跨时间）样本上持续监控 KS 的衰减幅度。
2.5 Lift/Gain图
Lift图和Gain图是营销风控和策略评估中常用的可视化工具，用于衡量模型相对于随机选择的提升效果。
- Gain图（累计响应率图）：横轴为按模型评分从高到低排序的样本百分比（深度），纵轴为累计捕获的坏客户百分比。理想曲线应快速上升。
- Lift图（提升度图）：横轴为样本深度，纵轴为 Lift 值（模型在该深度下的响应率 / 整体平均响应率）。Lift 值越高，说明模型在该分段的筛选能力越强。
| 样本深度（Top%） | 累计坏客户占比（Gain） | Lift值 | 解读 |
|---|---|---|---|
| 10% | 45% | 4.5 | 模型将坏客户密度提升了4.5倍 |
| 20% | 70% | 3.5 | 前20%样本覆盖了70%的坏客户 |
| 30% | 85% | 2.8 | 模型筛选效率依然显著 |
| 50% | 95% | 1.9 | 后半段提升效果减弱 |
业务落地： Lift/Gain图常用于策略制定。例如，如果业务要求坏客户覆盖率（Recall）达到80%，可以从Gain图上反推出需要审批的样本深度（如Top 25%），从而确定审批通过率阈值。Lift值则帮助评估该策略相对于随机审批的效率提升倍数。
2.6 指标体系选择指南
不同业务阶段和风控目标下，应选择不同的核心指标进行监控。以下表格总结了常见场景下的指标优先级。
| 业务场景 | 首要指标 | 次要指标 | 监控频率 |
|---|---|---|---|
| 模型开发阶段（训练集） | AUC、KS | F1-score | 每次迭代 |
| 模型上线前验证（测试集/OOT） | KS、AUC | Lift/Gain图 | 一次性 |
| 贷前审批策略（高通过率） | 精确率（Precision） | F1-score | 每日/每周 |
| 贷前审批策略（低通过率） | 召回率（Recall） | KS | 每日/每周 |
| 贷后催收策略 | Lift值（Top 20%） | 召回率 | 每周 |
| 模型监控（月度报告） | KS、AUC | PSI（群体稳定性指标） | 每月 |
避坑提醒： 不要只看单一指标。例如，一个模型可能AUC很高（0.9），但精确率极低（0.1），这意味着模型虽然排序能力强，但在实际审批中会误伤大量好客户。必须结合业务成本（FP和FN的代价）来综合评估。