3. Spark MLlib 评估器：BinaryClassificationEvaluator 与 MulticlassClassificationEvaluator

在反洗钱监测模型的效果评估环节，Spark MLlib 提供了两个核心的评估器（Evaluator），分别对应二分类与多分类场景。反洗钱交易监测本质上是一个典型的二分类问题（正常交易 vs 可疑交易），但在某些细分场景（如交易类型分级、风险等级划分）中也会用到多分类评估。本章将深入剖析这两个评估器的原理、参数配置与输出指标。

3.1 BinaryClassificationEvaluator：二分类评估器

该评估器专用于二分类模型，通过比较预测概率与真实标签来计算评估指标。在反洗钱场景中，我们通常将“可疑交易”标记为正类（label=1），将“正常交易”标记为负类（label=0）。

3.1.1 核心参数与指标

支持的 metricName 包括：

• areaUnderROC（AUC-ROC）：衡量模型区分正负类能力的综合指标，值越接近 1.0 越好。反洗钱场景通常要求 AUC ≥ 0.85。
• areaUnderPR（AUC-PR）：精确率-召回率曲线下面积，在正类样本极少（如可疑交易占比 < 1%）时比 AUC-ROC 更敏感。

3.1.2 代码示例

import org.apache.spark.ml.evaluation.BinaryClassificationEvaluator

val evaluator = new BinaryClassificationEvaluator()
  .setMetricName("areaUnderROC")
  .setRawPredictionCol("rawPrediction")
  .setLabelCol("label")

val aucROC = evaluator.evaluate(predictions)
println(s"测试集 AUC-ROC = $aucROC")

// 切换到 AUC-PR
evaluator.setMetricName("areaUnderPR")
val aucPR = evaluator.evaluate(predictions)
println(s"测试集 AUC-PR = $aucPR")

3.2 MulticlassClassificationEvaluator：多分类评估器

当反洗钱模型需要将交易划分为多个风险等级（如：低风险、中风险、高风险、极高风险）时，需要使用多分类评估器。该评估器支持多种多分类指标，并允许通过 metricLabel 参数指定重点关注某个特定类别。

3.2.1 核心参数与指标

常用 metricName 取值：

• f1：加权 F1 分数（默认），综合精确率与召回率。
• weightedPrecision：加权精确率。
• weightedRecall：加权召回率。
• accuracy：准确率（在类别不平衡时需谨慎使用）。
• precisionByLabel：指定类别的精确率（需配合 metricLabel）。
• recallByLabel：指定类别的召回率（需配合 metricLabel）。

3.2.2 代码示例

import org.apache.spark.ml.evaluation.MulticlassClassificationEvaluator

val multiEval = new MulticlassClassificationEvaluator()
  .setMetricName("f1")
  .setPredictionCol("prediction")
  .setLabelCol("label")

val f1Score = multiEval.evaluate(predictions)
println(s"多分类加权 F1 分数 = $f1Score")

// 单独评估高风险类别（假设高风险标签为 2）的召回率
multiEval.setMetricName("recallByLabel").setMetricLabel(2)
val highRiskRecall = multiEval.evaluate(predictions)
println(s"高风险类别召回率 = $highRiskRecall")

3.3 评估器选择与反洗钱场景映射

以下表格总结了不同反洗钱场景下评估器的选择建议：

3.4 评估器工作流程与数据流

下图展示了评估器在反洗钱模型评估流程中的位置与数据流转关系：

3.5 两个评估器的核心差异对比

下表从多个维度对比两个评估器，帮助你在反洗钱项目中快速做出选择：

3.6 常见陷阱与避坑指南

• 陷阱1：二分类评估器传入了预测标签而非概率。 BinaryClassificationEvaluator 需要 rawPrediction 列（包含概率值），如果传入的是硬分类标签（0/1），会导致 AUC 计算错误。解决方案：确保 pipeline 中输出概率的 transformer 正确配置。
• 陷阱2：多分类评估器在类别极度不平衡时使用 accuracy。 如前述，accuracy 会被多数类主导。应改用 weightedRecall 或针对高风险类别的 recallByLabel。
• 陷阱3：忽略 metricLabel 参数。 在多分类反洗钱场景中，如果不设置 metricLabel，默认计算的是所有类别的加权平均，可能掩盖高风险类别的低召回问题。