3. AUC计算方法：梯形法、排序法与数学公式推导

AUC（Area Under the ROC Curve）是衡量二分类模型区分能力最常用的全局指标。理解AUC的三种核心计算方法——梯形法、排序法和数学公式推导，是进行风险计量模型切片复盘的基础。三种方法在计算原理、实现效率和数值精度上各有侧重。

3.1 梯形法计算AUC

梯形法是最直观的几何计算方法，直接对ROC曲线下的面积进行数值积分。将ROC曲线沿FPR轴等分为若干小梯形，累加每个梯形的面积。

计算步骤

1. 排序与阈值遍历：将预测概率从高到低排序，依次作为阈值。
2. 计算点坐标：在每个阈值下计算TPR和FPR，得到一系列点 (FPR_i, TPR_i)。
3. 梯形累加：相邻两点构成一个梯形，面积为 (FPR_i - FPR_i-1) × (TPR_i + TPR_i-1) / 2。
4. 求和：将所有梯形面积相加即得AUC。

_i + TPR_i-1) / 2)

3.2 排序法计算AUC

排序法（又称Wilcoxon-Mann-Whitney统计量法）是工业界最常用的AUC计算方法，无需显式绘制ROC曲线，直接利用样本的预测概率排序计算。

核心原理

AUC等价于：随机抽取一个正样本和一个负样本，正样本预测概率大于负样本预测概率的概率。即：

AUC = P(P_正 > P_负)

计算步骤

1. 排序：将所有样本按预测概率从高到低排序。
2. 统计秩次：记录每个正样本在排序中的位置（秩次）。
3. 计算统计量：

# Python 排序法计算 AUC 示例
import numpy as np

def auc_rank(y_true, y_pred):
    # 按预测概率降序排序
    order = np.argsort(-y_pred)
    y_true_sorted = y_true[order]
    
    # 正样本数量
    n_pos = np.sum(y_true)
    n_neg = len(y_true) - n_pos
    
    # 计算正样本秩次和
    rank_sum = 0
    for i, label in enumerate(y_true_sorted):
        if label == 1:
            rank_sum += (i + 1)  # 秩次从1开始
    
    # AUC = (秩次和 - n_pos*(n_pos+1)/2) / (n_pos * n_neg)
    auc = (rank_sum - n_pos * (n_pos + 1) / 2) / (n_pos * n_neg)
    return auc

两种方法对比

对比维度	梯形法	排序法
计算原理	几何面积累加	概率统计量
时间复杂度	O(n²)	O(n log n)
数值精度	受阈值密度影响	精确计算
可视化能力	可直接绘制ROC曲线	无法直接可视化
风控切片适用性	子群体可视化分析	大规模批量计算

3.3 AUC的数学公式推导

从统计角度严格推导AUC的数学表达式，有助于深入理解AUC在切片复盘中的统计意义。

3.3.1 基于Mann-Whitney U统计量

设正样本集合为 D⁺，负样本集合为 D^-，样本量分别为 n⁺ 和 n^-。定义指示函数：

AUC = (1 / (n⁺ · n^-)) · Σ_i∈D⁺ Σ_j∈D^- I(P_i > P_j)

其中 I(·) 为指示函数，当正样本预测概率大于负样本时取1，相等时取0.5。

3.3.2 基于ROC曲线的积分形式

ROC曲线可视为TPR关于FPR的函数：TPR = f(FPR)。AUC即为该函数在[0,1]区间上的定积分：

AUC = ∫₀¹ TPR(FPR) d(FPR)

将TPR和FPR用混淆矩阵元素表示：

AUC = ∫₀¹ (TP / (TP + FN)) d(FP / (FP + TN))

3.3.3 等价性证明

排序法与积分形式在数学上完全等价。证明思路：

• 排序法中的秩次和可以转化为所有正负样本对的比较次数。
• 积分形式中的每个微分单元对应一个阈值下的TPR和FPR。
• 两种形式最终都收敛到同一统计量：正样本预测值大于负样本的概率。

3.4 切片复盘中的方法选择建议

• 全量模型评估：使用排序法，计算效率高，结果精确。
• 子群体可视化分析：使用梯形法，同时绘制ROC曲线，直观展示切片间区分能力差异。
• 统计显著性检验：基于数学公式推导的方差估计，计算切片间AUC差异的置信区间。
• 在线实时监控：使用排序法的增量更新版本，支持流式数据AUC计算。