4. 模型风险监控指标体系：模型性能指标、数据质量指标、计算资源指标、模型稳定性指标

模型风险监控是模型生命周期管理中最关键的持续活动。一个完整的监控体系需要覆盖模型从输入到输出、从计算到业务影响的全部环节。本章将四大核心指标维度拆解为可量化、可告警、可追溯的监控项，帮助你在 Spark 环境下快速定位异常根因。

4.1 四大指标维度总览

模型风险监控指标体系并非孤立存在，而是围绕“数据→计算→模型→业务”的链路分层设计。下表概括了每个维度的核心关注点与典型监控对象：

4.2 模型性能指标

模型性能指标直接反映模型在最新数据上的预测能力是否达到业务预期。在 Spark 流式或批处理场景中，通常按窗口（如每小时、每天）计算并与基准值对比。

• 分类模型： AUC（Area Under Curve）、KS（Kolmogorov-Smirnov）、F1-Score、Precision、Recall、LogLoss。
• 回归模型： MAE（Mean Absolute Error）、RMSE（Root Mean Square Error）、R²、MAPE（Mean Absolute Percentage Error）。
• 排序/推荐模型： NDCG（Normalized Discounted Cumulative Gain）、MRR（Mean Reciprocal Rank）、Hit Rate。

以下 SVG 展示了模型性能指标在 Spark 监控流水线中的计算与告警流程：

4.3 数据质量指标

数据质量是模型有效性的基石。在 Spark 大数据环境下，数据质量问题往往表现为大规模、突发性、隐蔽性。监控指标应覆盖数据进入模型推理前的全链路。

4.4 计算资源指标

模型推理作业在 Spark 集群上的资源消耗直接影响 SLA 和集群稳定性。计算资源指标是运维侧的第一道防线，也是排查模型性能退化时最容易忽略的维度。

• CPU / 内存： Executor 平均 CPU 使用率、GC 时间占比、堆内/堆外内存使用量、OOM 次数。
• Shuffle： Shuffle 读写数据量、Shuffle 失败率、Spill 次数（磁盘溢出）。
• 作业执行： Stage 耗时、Task 倾斜度（最大/中位数耗时比）、作业排队时间。
• Spark 结构化流： 批处理延迟、水位线延迟、未处理记录数。

以下 SVG 展示了 Spark 模型推理作业的计算资源监控架构：

4.5 模型稳定性指标

模型稳定性指标用于检测模型在生产环境中是否发生概念漂移（Concept Drift）或数据漂移（Data Drift）。这是模型风险监控中最具挑战性的维度，因为漂移往往是渐进式的。

4.6 指标联动与异常排查思路

在实际 Spark 监控中，四大指标维度并非独立工作。一个典型的异常排查链路如下：

1. 收到模型性能告警（如 AUC 下降 5%）。
2. 立即检查数据质量指标：查看空值率、分布漂移是否异常。若发现某特征空值率从 2% 飙升至 30%，则根因大概率是上游数据管道故障。
3. 同步检查计算资源指标：若发现 Shuffle 数据量激增或 Executor OOM，则可能是数据倾斜导致部分分区数据丢失或计算错误。
4. 最后验证模型稳定性指标：若 PSI 正常但性能下降，则可能是业务环境变化导致概念漂移，需要重新训练。

以下代码片段展示了如何在 Spark Structured Streaming 中同时采集性能指标与数据质量指标：

// 示例：Spark 结构化流中联合监控模型性能与数据质量
import org.apache.spark.sql.streaming.{GroupState, GroupStateTimeout}
import org.apache.spark.sql.expressions.Window

// 1. 定义监控聚合函数
case class ModelMonitorState(
  totalCount: Long,
  correctCount: Long,
  nullCount: Long,
  sumError: Double
)

// 2. 使用 mapGroupsWithState 进行窗口聚合
val monitorStream = predictionDF
  .withWatermark("eventTime", "10 minutes")
  .groupBy(
    window($"eventTime", "1 hour"),
    $"modelVersion"
  )
  .agg(
    count("*").as("totalCount"),
    sum(when($"prediction" === $"label", 1).otherwise(0)).as("correctCount"),
    sum(when($"feature1".isNull || $"feature2".isNull, 1).otherwise(0)).as("nullCount"),
    sum(abs($"prediction" - $"label")).as("sumError")
  )
  .select(
    $"window.start".as("windowStart"),
    $"modelVersion",
    ($"correctCount" / $"totalCount").as("accuracy"),
    ($"nullCount" / $"totalCount").as("nullRate"),
    ($"sumError" / $"totalCount").as("mae")
  )

// 3. 输出到监控表，触发告警逻辑
monitorStream.writeStream
  .outputMode("append")
  .format("console")
  .start()