3. 慢查询监控体系：Prometheus + Grafana 监控慢查询指标、慢查询日志采集与告警

慢查询监控体系是数据库性能保障的“眼睛”与“神经”。本章聚焦于如何利用 Prometheus 与 Grafana 构建端到端的慢查询监控栈，覆盖指标暴露、日志采集、可视化仪表盘与告警规则四个核心环节。以下内容将按照“指标定义 → 采集部署 → 可视化 → 告警”的工程链路展开。

3.1 监控体系架构总览

下图展示了慢查询监控体系的核心组件与数据流。从数据库实例到最终告警通知，共经过四个层次：指标暴露层、采集与存储层、可视化层、告警与通知层。

3.2 慢查询关键指标定义与暴露

Prometheus 监控慢查询的核心在于定义正确的指标类型。对于数据库慢查询，主要关注以下三类指标：

3.3 慢查询日志采集：Promtail + Loki 方案

慢查询日志属于非结构化文本数据，不适合直接存入 Prometheus。推荐使用 Loki + Promtail 进行日志采集与存储。采集流程如下：

1. 配置数据库慢查询日志输出：确保 MySQL 的 slow_query_log_file 路径可读，且日志格式包含执行时间、锁时间、返回行数、扫描行数等关键字段。
2. 部署 Promtail：在数据库主机上运行 Promtail，配置 scrape_config 指向慢查询日志文件。
3. 日志解析与标签：使用 Promtail 的 pipeline_stages 对日志行进行正则解析，提取 query_time、rows_examined、rows_sent 等字段作为标签。
4. 发送至 Loki：Promtail 将解析后的日志行推送至 Loki 集群，支持按时间与标签检索。

以下是一个 Promtail 配置示例，用于采集 MySQL 慢查询日志：

scrape_configs:
  - job_name: mysql-slow-query
    static_configs:
      - targets: [localhost]
        labels:
          job: mysql-slow
          __path__: /var/log/mysql/mysql-slow.log
    pipeline_stages:
      - regex:
          expression: '^# Time: (?P<time>\S+)\s+# User@Host: (?P<user>\S+)\s+# Query_time: (?P<query_time>\S+)\s+# Lock_time: (?P<lock_time>\S+)\s+# Rows_sent: (?P<rows_sent>\d+)\s+# Rows_examined: (?P<rows_examined>\d+)'
      - labels:
          query_time:
          rows_sent:
          rows_examined:
      - timestamp:
          source: time
          format: RFC3339

3.4 Grafana 仪表盘设计

Grafana 仪表盘是慢查询监控的“驾驶舱”。推荐设计以下面板：

3.5 告警规则配置

基于 Prometheus 的 Alertmanager 实现慢查询告警。以下是一组推荐的告警规则：

groups:
  - name: slow_query_alerts
    rules:
      - alert: HighSlowQueryRate
        expr: rate(mysql_global_status_slow_queries[5m]) > 10
        for: 2m
        labels:
          severity: warning
        annotations:
          summary: "慢查询速率过高 (实例 {{ $labels.instance }})"
          description: "过去5分钟慢查询速率达到 {{ $value | humanize }} 次/秒，超过阈值 10"

      - alert: HighP99Latency
        expr: histogram_quantile(0.99, rate(grpc_server_handling_seconds_bucket[5m])) > 1.0
        for: 1m
        labels:
          severity: critical
        annotations:
          summary: "gRPC p99 延迟超过 1s (服务 {{ $labels.service }})"
          description: "当前 p99 延迟为 {{ $value | humanize }} 秒"

      - alert: SlowQueryLogSpike
        expr: sum(rate(log_entries_total{job="mysql-slow"}[5m])) > 50
        for: 3m
        labels:
          severity: warning
        annotations:
          summary: "慢查询日志条目激增"
          description: "过去5分钟慢查询日志速率达到 {{ $value | humanize }} 条/分钟"

3.6 慢查询监控体系自检清单

部署完成后，使用以下清单验证监控体系是否完整：

通过以上步骤，即可构建一套覆盖指标、日志、可视化与告警的完整慢查询监控体系，为后续根因定位与尾延迟压测提供坚实的数据基础。