3、混淆矩阵与衍生指标：TP/FP/TN/FN、精确率、召回率、F1-score、KS、AUC在策略评估中的应用

在风控策略的量化评估中，混淆矩阵是所有衍生指标的基石。它通过对比模型预测结果与真实标签，将样本划分为四个象限，从而系统性地衡量策略的“抓坏”能力与“误伤”程度。本节将深入拆解混淆矩阵的核心元素，并推导出精确率、召回率、F1-score、KS与AUC等关键指标，帮助你在Champion选择中做出数据驱动的决策。

3.1 混淆矩阵：四象限定义

混淆矩阵以2×2表格形式呈现，行代表预测类别，列代表真实类别。在风控场景中，通常将“坏客户”（逾期/违约）定义为正类（Positive），“好客户”定义为负类（Negative）。

3.2 核心衍生指标：精确率、召回率与F1-score

基于混淆矩阵的四个基础值，可以衍生出三个最常用的单点评估指标，它们从不同维度刻画策略的“准”与“全”。

• 精确率（Precision） = TP / (TP + FP)
  含义：在所有被模型判为“坏”的客户中，真正是坏客户的比例。精确率越高，误伤越少。
• 召回率（Recall） = TP / (TP + FN)
  含义：在所有真正的坏客户中，模型成功抓出的比例。召回率越高，漏报越少。
• F1-score = 2 × (Precision × Recall) / (Precision + Recall)
  含义：精确率与召回率的调和平均数，用于平衡两者冲突时的综合评估。

3.3 排序能力指标：KS与AUC

与单点指标不同，KS和AUC评估的是模型对好坏客户的排序区分能力，即策略评分卡能否将坏客户的分数集中在低分段，好客户的分数集中在高分段。

3.4 指标联动与策略评估框架

单一指标无法全面反映策略效果。下图展示了混淆矩阵与各衍生指标之间的逻辑关系，以及它们在策略评估中的定位。

3.5 实战案例：Champion选择中的指标对比

假设我们有两个备选策略模型A和B，在验证集上的表现如下表所示。请根据综合指标选择最优策略。

3.6 代码实现：混淆矩阵与指标计算

以下Python代码展示了如何从预测结果中快速计算混淆矩阵及所有衍生指标，便于你在实际项目中自动化评估策略效果。

import numpy as np
from sklearn.metrics import confusion_matrix, roc_auc_score

def evaluate_strategy(y_true, y_pred, y_score=None):
    """
    风控策略评估函数
    :param y_true: 真实标签（1=坏，0=好）
    :param y_pred: 预测标签（1=坏，0=好）
    :param y_score: 预测概率（用于计算AUC）
    :return: 指标字典
    """
    tn, fp, fn, tp = confusion_matrix(y_true, y_pred).ravel()
    
    precision = tp / (tp + fp) if (tp + fp) > 0 else 0.0
    recall = tp / (tp + fn) if (tp + fn) > 0 else 0.0
    f1 = 2 * precision * recall / (precision + recall) if (precision + recall) > 0 else 0.0
    
    # 计算KS：按分数排序后累计TPR与FPR的最大差值
    if y_score is not None:
        data = np.column_stack((y_score, y_true))
        data = data[data[:, 0].argsort()[::-1]]  # 按分数降序排列
        total_bad = np.sum(data[:, 1])
        total_good = len(data) - total_bad
        cum_bad = np.cumsum(data[:, 1])
        cum_good = np.cumsum(1 - data[:, 1])
        tpr = cum_bad / total_bad
        fpr = cum_good / total_good
        ks = np.max(tpr - fpr)
        auc = roc_auc_score(y_true, y_score)
    else:
        ks = 0.0
        auc = 0.0
    
    return {
        'TP': tp, 'FP': fp, 'TN': tn, 'FN': fn,
        'Precision': round(precision, 4),
        'Recall': round(recall, 4),
        'F1': round(f1, 4),
        'KS': round(ks, 4),
        'AUC': round(auc, 4)
    }

# 示例用法
y_true = [1, 0, 1, 1, 0, 0, 1, 0]
y_pred = [1, 0, 1, 0, 0, 0, 1, 1]
y_score = [0.9, 0.3, 0.8, 0.4, 0.2, 0.1, 0.7, 0.6]
result = evaluate_strategy(y_true, y_pred, y_score)
print(result)