4. 数据倾斜检测指标：Partition 数据量方差、最大/最小 Partition 比值、Task 处理时间长尾分布

数据倾斜是 Spark 作业性能劣化的首要诱因。当某个或某几个 Partition 的数据量远超平均水平时，对应 Task 的处理时间会急剧膨胀，拖慢整个 Stage 甚至导致 OOM。本节聚焦三个核心检测指标，帮助运维人员精准识别倾斜程度，为阈值调优提供量化依据。

4.1 三大核心指标定义与计算方式

4.2 数据倾斜检测流程与指标联动关系

下图展示了从原始数据采集到告警触发的完整检测链路，以及三个指标之间的协同判断逻辑。

4.3 指标采集与计算代码示例

以下代码展示了如何在 Spark 作业执行后，从 SparkContext 和 TaskMetrics 中提取原始数据并计算三个倾斜指标。

// 从 Spark UI 或 History Server 获取 Stage 级 Partition 数据量
val stageId = 1
val stageInfo = spark.sparkContext.statusTracker.getStageInfo(stageId)

// 提取每个 Partition 的输入数据量（bytes）
val partitionSizes: Seq[Long] = stageInfo.taskMetrics
  .filter(_.inputMetrics.isDefined)
  .map(_.inputMetrics.get.bytesRead)

// 计算方差
val mean = partitionSizes.sum.toDouble / partitionSizes.length
val variance = partitionSizes.map(s => math.pow(s - mean, 2)).sum / partitionSizes.length

// 计算最大/最小比值
val maxSize = partitionSizes.max
val minSize = partitionSizes.min
val ratio = if (minSize > 0) maxSize.toDouble / minSize else Double.MaxValue

// 计算 Task 处理时间长尾分布（P99 / P50）
val durations: Seq[Long] = stageInfo.taskMetrics.map(_.executorRunTime)
val sorted = durations.sorted
val p50 = sorted((sorted.length * 0.5).toInt)
val p99 = sorted((sorted.length * 0.99).toInt)
val tailRatio = p99.toDouble / p50

// 输出检测结果
println(s"Partition 方差: $variance")
println(s"最大/最小比值: $ratio")
println(s"长尾系数 (P99/P50): $tailRatio")

4.4 阈值设定策略与分级告警

阈值不应一成不变。下表给出了基于作业类型和数据规模的推荐初始阈值，以及对应的告警级别。

4.5 长尾分布的可视化判断

除了数值指标，Task 耗时分布图能直观反映长尾程度。下图展示了正常分布与倾斜分布的核心差异。

4.6 指标联动告警规则示例

为避免单一指标波动导致误告，推荐使用“2 of 3”组合规则。以下是一个可配置的告警规则模板。

# 告警规则配置（YAML 格式）
alert_rules:
  data_skew:
    description: "数据倾斜检测 - 任意两个指标超阈值即触发"
    condition: "2 of 3"
    metrics:
      - name: partition_variance_ratio
        threshold: 0.5  # 方差 / 均值
        operator: ">"
      - name: max_min_ratio
        threshold: 5.0
        operator: ">"
      - name: tail_coefficient
        threshold: 3.0
        operator: ">"
    severity: "critical"
    action: "触发自适应分区重分区 / 通知值班工程师"