2. Spark作业核心指标：作业运行时间、Stage耗时、Task失败率、Shuffle读写量、GC时间
在调优Spark监控告警阈值之前，必须准确理解作业运行过程中暴露的五个核心指标。这些指标直接反映了作业的健康状态、资源利用效率以及潜在的性能瓶颈。本章将逐一拆解每个指标的定义、典型异常场景及其在阈值设定中的参考价值。
2.1 指标全景与监控层级
Spark作业的监控指标具有明显的层级结构，从宏观的作业运行时间逐步下钻到微观的GC时间。理解这一层级关系有助于在告警时快速定位问题根因。
核心原则：告警阈值应分层设定，上层指标（如作业运行时间）触发告警时，应联动下钻查看下层指标（如Stage耗时、GC时间）以确定根因。
2.2 指标详解与阈值参考
以下表格详细列出了每个指标的定义、典型异常表现以及初始阈值设定建议。请注意，这些阈值为经验参考值，实际生产环境需根据作业特性进行动态调整。
| 指标名称 | 定义与监控点 | 典型异常表现 | 初始告警阈值（参考） |
|---|---|---|---|
| 作业运行时间 | 从SparkContext启动到Application结束的总耗时。通常在Spark UI的Jobs Tab中查看。 | 超出SLA预期时间；持续增长趋势；偶发尖刺。 | P95 耗时 > 基线值 × 1.5 或 绝对值 > SLA上限 |
| Stage耗时 | 单个Stage从所有Task提交到全部完成的时间。Shuffle Stage通常耗时最长。 | 单个Stage耗时占作业总耗时比例异常高（>60%）；Stage耗时持续增长。 | 单个Stage耗时 > 作业总耗时 × 0.5 或 绝对值 > 10分钟 |
| Task失败率 | 失败Task数 / 总Task数 × 100%。包括Executor丢失、Fetch失败、OOM等导致的失败。 | 失败率突然升高（>5%）；大量Task重试导致作业变慢。 | 失败率 > 1% 触发警告；> 5% 触发严重告警 |
| Shuffle读写量 | Shuffle Write（Map端写出数据量）和 Shuffle Read（Reduce端读取数据量）。单位通常为GB。 | Shuffle数据量远超预期；Shuffle Read倾斜导致个别Task数据量过大。 | Shuffle Read量 > 基线值 × 2 或 单Task Shuffle Read > 1GB |
| GC时间 | JVM垃圾回收总耗时（Young GC + Full GC）。通常在Executor日志或Spark UI的Executors Tab中查看。 | GC时间占比 > 10%；Full GC频繁触发；Task执行时间中GC占主导。 | GC时间占比 > 10% 或 Full GC次数 > 5次/分钟 |
2.3 指标关联分析与下钻路径
单一指标的告警往往不足以定位问题。实际调优中，需要建立指标间的关联分析能力。以下是一个典型的下钻分析路径：
- 第一步：作业运行时间告警 → 检查Stage耗时分布，定位耗时最长的Stage。
- 第二步：定位到耗时Stage后，查看该Stage的Task失败率与Shuffle读写量。如果失败率高，检查Executor日志；如果Shuffle Read量异常，检查数据倾斜。
- 第三步：如果Task失败率与Shuffle读写量均正常，则检查GC时间。GC时间占比高通常意味着内存配置不足或存在大对象。
- 第四步：综合判断后，调整对应参数（如spark.sql.shuffle.partitions、spark.executor.memory、spark.memory.fraction等）。
实战提示：在监控系统中（如Prometheus + Grafana），建议将上述五个指标放在同一个Dashboard中，并设置联动下钻（Drill-down）链接，从作业运行时间直接跳转到对应Stage的详细指标面板。
2.4 指标采集与监控工具
为了获取上述指标，推荐使用以下工具组合：
- Spark History Server：提供作业运行后的静态指标，适合离线分析与基线计算。
- Spark Metrics System：通过配置
metrics.properties将指标实时发送到Ganglia、Graphite或Prometheus。 - Prometheus + PushGateway：实时采集Spark作业指标，支持灵活的告警规则配置。
- Grafana：可视化展示指标趋势，设置告警阈值线。
# 示例：Spark Metrics 配置片段 (metrics.properties)
*.sink.prometheus.class=org.apache.spark.metrics.sink.PrometheusServlet
*.sink.prometheus.path=/metrics/prometheus
master.sink.prometheus.path=/metrics/prometheus
applications.sink.prometheus.path=/metrics/prometheus2.5 阈值调优的基线建立方法
阈值不是一成不变的，需要基于历史数据建立动态基线。推荐采用以下方法：
- 滑动窗口法：取最近7天或30天的同一作业运行数据，计算P50、P95、P99值作为基线。
- 同比/环比法：对比上周同期或昨天同期的指标变化率，适用于有明显周期性的作业。
- 异常检测算法：对于数据量大的场景，可使用3-Sigma或MAD（Median Absolute Deviation）算法自动识别异常点。
注意：基线建立后，应定期（如每周）重新计算，以适应数据量变化、集群资源调整等环境因素。避免使用“拍脑袋”设定的固定阈值。