4. 慢查询诊断：使用 Prometheus 内置指标定位瓶颈

在告警自愈剧本中，PromQL 查询的响应速度直接决定了自愈动作的时效性。一个慢查询可能导致告警触发延迟、自愈剧本错过最佳执行窗口，甚至引发查询堆积拖垮 Prometheus 服务。Prometheus 自身暴露了 prometheus_engine_query_duration_seconds 指标，这是诊断慢查询的第一手数据源。

4.1 核心指标解读

prometheus_engine_query_duration_seconds 是一个 Summary 类型的指标，记录了 Prometheus 查询引擎执行查询的耗时分布。它按 slice（查询类型）和 stage（执行阶段）进行标签划分，帮助我们精准定位瓶颈环节。

4.2 慢查询定位方法

通过以下 PromQL 查询，可以快速识别当前最慢的查询来源与阶段：

# 查询最近5分钟内，各查询来源的P99耗时
histogram_quantile(0.99,
  sum(rate(prometheus_engine_query_duration_seconds_bucket{slice=~"queries|rules|alerts"}[5m])) by (le, slice)
)

# 查询各执行阶段的平均耗时
avg by (slice, stage) (
  rate(prometheus_engine_query_duration_seconds_sum[5m])
  /
  rate(prometheus_engine_query_duration_seconds_count[5m])
)

# 识别耗时超过阈值的告警规则评估
prometheus_engine_query_duration_seconds{slice="alerts", quantile="0.99"} > 1.0

4.3 瓶颈阶段分析

不同的 stage 值对应不同的瓶颈类型，下表总结了常见问题与优化方向：

4.4 告警自愈场景实战案例

某生产环境中，告警自愈剧本频繁出现“规则评估超时”错误。通过慢查询诊断，发现 slice="alerts" 的 inner_eval 阶段 P99 耗时高达 8.2 秒。

4.5 建立慢查询告警

将慢查询诊断自动化，当 Prometheus 自身查询耗时超过阈值时，触发告警通知 SRE 介入：

# 告警规则：Prometheus 查询 P99 耗时超过 2 秒
- alert: PrometheusSlowQuery
  expr: |
    histogram_quantile(0.99,
      sum(rate(prometheus_engine_query_duration_seconds_bucket{slice=~"queries|rules|alerts"}[5m])) by (le, slice)
    ) > 2
  for: 5m
  labels:
    severity: warning
  annotations:
    summary: "Prometheus 查询 P99 耗时超过 2 秒 (slice: {{ $labels.slice }})"
    description: "当前 P99 耗时 {{ $value | humanizeDuration }}，请检查相关 PromQL 是否需要优化。"