3. Spark监控工具介绍：Spark Web UI、Spark History Server、Ganglia、Prometheus + Grafana

在模型风险管理场景中，Spark作业的稳定性与性能直接关系到模型训练与推理的时效性。当出现OOM、数据倾斜、任务长尾等异常时，快速定位根因依赖一套完善的监控工具链。本章系统介绍四种主流Spark监控工具：Spark Web UI（实时诊断）、Spark History Server（历史回溯）、Ganglia（集群级指标）、Prometheus + Grafana（自定义告警与可视化）。

3.1 Spark Web UI：实时作业诊断的第一站

每个Spark应用在运行期间都会在Driver端启动一个Web UI，默认端口4040。它提供作业、Stage、Task级别的实时指标，是排查“当前作业为什么慢”的首选工具。

核心页面与用途

3.2 Spark History Server：离线回溯与对比分析

Spark Web UI仅在作业运行期间可用。作业结束后，若需复盘历史作业的异常，必须依赖Spark History Server（SHS）。它读取Spark事件日志（默认存储在HDFS或本地路径），提供与Web UI几乎一致的界面。

配置要点

# spark-defaults.conf
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://namenode:8020/spark-history
spark.history.fs.logDirectory    hdfs://namenode:8020/spark-history
spark.history.ui.port            18080

典型应用场景

• 异常复盘： 凌晨作业失败，次日通过SHS查看失败Stage的异常栈与Task重试次数。
• 性能对比： 对比模型v1与v2版本的Stage耗时，定位哪个算子退化。
• 资源审计： 查看历史作业的Executor峰值内存、Shuffle spill量，为资源申请提供依据。

3.3 Ganglia：集群级资源监控

Ganglia是Hadoop生态中经典的分布式监控系统，通过gmond（采集节点）和gmetad（聚合元数据）收集CPU、内存、网络、磁盘等指标。在Spark场景中，它帮助回答“集群资源是否够用”的问题。

与Spark的关联指标

3.4 Prometheus + Grafana：自定义告警与可视化

这是当前最流行的开源监控组合。Spark 3.x 原生支持通过SparkMetric或PushGateway将指标暴露给Prometheus，再由Grafana绘制仪表盘并配置告警规则。

架构流程

关键配置示例

1. Spark开启Prometheus指标暴露

# spark-defaults.conf
spark.ui.prometheus.enabled    true
spark.executor.processTreeMetrics.enabled  true
spark.metrics.conf.*.sink.prometheus.class  org.apache.spark.metrics.sink.PrometheusServlet

2. Prometheus抓取配置（prometheus.yml）

scrape_configs:
  - job_name: 'spark_driver'
    metrics_path: '/metrics/prometheus'
    static_configs:
      - targets: ['driver-host:4040']
  - job_name: 'spark_executor'
    metrics_path: '/metrics/executor'
    static_configs:
      - targets: ['executor1:4040', 'executor2:4040']

3. Grafana告警规则示例（针对模型训练作业）

# 当Executor GC时间占比超过25%时触发告警
- alert: ExecutorGCHigh
  expr: rate(spark_executor_jvm_gc_time_seconds_total[5m]) / rate(spark_executor_jvm_cpu_time_seconds_total[5m]) > 0.25
  for: 2m
  labels:
    severity: warning
  annotations:
    summary: "Executor GC时间占比超过25%，可能存在内存压力"

3.5 工具对比与选型矩阵