4. 反欺诈指标定义：拦截率、误杀率、准确率、召回率、F1-score、AUC-ROC

在反欺诈A/B测试与阈值分层中，没有统一的“好模型”标准，只有符合业务容忍度的指标组合。本章定义六大核心指标，并解释它们如何在欺诈拦截与用户体验之间形成权衡。

4.1 混淆矩阵：所有指标的起点

所有分类指标都来自混淆矩阵的四个基本计数：

4.2 六大指标定义与公式

4.3 拦截率 vs 误杀率：核心权衡

拦截率与误杀率是一对跷跷板：

• 提高拦截率 → 降低阈值，更多交易被拦截 → 漏过欺诈减少，但正常用户被误杀增加。
• 降低误杀率 → 提高阈值，仅拦截高置信度欺诈 → 用户体验改善，但漏过欺诈风险上升。

在A/B测试中，我们需要同时观察这两个指标，而不是只看单一指标。

4.4 AUC-ROC：模型区分能力的全局指标

ROC曲线以假阳性率（FPR = 1 - 特异性）为横轴、真阳性率（TPR = 召回率）为纵轴，绘制不同阈值下的表现。AUC是曲线下面积：

• AUC = 1.0：完美模型，能完全区分欺诈与正常。
• AUC = 0.5：随机猜测，无区分能力。
• AUC < 0.5：比随机还差，通常说明标签或特征有问题。

4.5 F1-score：精确率与召回率的调和平均

当业务同时关注“拦截的准确性”和“覆盖的全面性”时，F1-score是单一综合指标：

• F1高 → 精确率和召回率都较高，模型在拦截欺诈的同时较少误杀。
• F1低 → 至少一个指标偏低，要么漏过太多欺诈，要么误杀太多正常用户。

在阈值分层中，不同分层可以追求不同的F1目标：高风险层追求高召回（容忍一定误杀），低风险层追求高精确率（减少打扰）。

4.6 指标选择矩阵：不同场景的优先级

4.7 代码示例：计算所有指标

import numpy as np
from sklearn.metrics import confusion_matrix, roc_auc_score, f1_score

def calculate_anti_fraud_metrics(y_true, y_pred, y_prob=None):
    """
    计算反欺诈核心指标
    y_true: 真实标签（1=欺诈，0=正常）
    y_pred: 预测标签（1=拦截，0=放行）
    y_prob: 预测概率（用于AUC）
    """
    tn, fp, fn, tp = confusion_matrix(y_true, y_pred).ravel()

    # 拦截率（召回率）
    recall = tp / (tp + fn) if (tp + fn) > 0 else 0.0

    # 误杀率
    fpr = fp / (fp + tn) if (fp + tn) > 0 else 0.0

    # 精确率
    precision = tp / (tp + fp) if (tp + fp) > 0 else 0.0

    # 准确率
    accuracy = (tp + tn) / (tp + fp + fn + tn)

    # F1-score
    f1 = f1_score(y_true, y_pred)

    # AUC-ROC
    auc = roc_auc_score(y_true, y_prob) if y_prob is not None else None

    return {
        '拦截率(召回率)': round(recall, 4),
        '误杀率': round(fpr, 4),
        '精确率': round(precision, 4),
        '准确率': round(accuracy, 4),
        'F1-score': round(f1, 4),
        'AUC-ROC': round(auc, 4) if auc is not None else None
    }

# 示例使用
y_true = [1, 0, 1, 0, 1, 0, 0, 1]
y_pred = [1, 0, 0, 0, 1, 0, 1, 1]
y_prob = [0.9, 0.2, 0.4, 0.1, 0.8, 0.3, 0.6, 0.95]

metrics = calculate_anti_fraud_metrics(y_true, y_pred, y_prob)
for k, v in metrics.items():
    print(f"{k}: {v}")