3. 数据源配置：Prometheus、Loki、Elasticsearch 数据源接入与查询语言基础

在构建可观测性体系时，数据源是告警与面板的根基。本章聚焦三大核心数据源——Prometheus（指标）、Loki（日志）、Elasticsearch（搜索与分析）的接入配置，并深入对应的查询语言 PromQL 与 LogQL，为后续质量门禁与阈值优化打下数据基础。

3.1 数据源接入对比与配置要点

三种数据源在 Grafana 中的接入方式、数据模型与适用场景存在显著差异。下表梳理了核心配置参数与最佳实践：

3.2 Prometheus 数据源与 PromQL 基础

Prometheus 是时序指标的事实标准。接入时需确保 Grafana 与 Prometheus 网络可达，并正确配置 Scrape Interval（通常 15s-30s）与 Timeout（通常 10s）。

3.2.1 PromQL 核心概念

• Instant Vector：某一时刻的时序数据集合，如 http_requests_total{job="api"}
• Range Vector：一段时间窗口内的时序数据，如 http_requests_total[5m]
• Scalar：纯数值，如 1、100
• String：字符串，用于标签匹配

3.2.2 常用 PromQL 查询模式

# 瞬时向量查询：获取当前所有 API 服务的请求总数
http_requests_total{job="api"}

# 速率计算：过去 5 分钟每秒请求数
rate(http_requests_total[5m])

# 聚合查询：按状态码分组统计错误率
sum(rate(http_requests_total{status=~"5.."}[5m])) / sum(rate(http_requests_total[5m]))

# 阈值判断：返回超过 0.05 错误率的服务
(sum(rate(http_requests_total{status=~"5.."}[5m])) by (service)
 /
 sum(rate(http_requests_total[5m])) by (service)) > 0.05

3.3 Loki 数据源与 LogQL 基础

Loki 专为日志设计，与 Prometheus 共享标签体系。接入时需配置 Derived Fields，将日志中的 trace ID 或 request ID 提取为可点击链接，实现日志与链路追踪的联动。

3.3.1 LogQL 核心概念

• Log Stream Selector：通过标签过滤日志流，如 {app="nginx", env="prod"}
• Line Filter：对日志行内容进行过滤，如 |= "ERROR"、!= "DEBUG"
• Parser：解析日志内容为结构化字段，如 | json、| logfmt、| regexp
• Metric Query：将日志转换为指标，如 rate({app="nginx"} |= "5xx" [5m])

3.3.2 常用 LogQL 查询模式

# 基础日志流查询：获取生产环境 Nginx 的错误日志
{app="nginx", env="prod"} |= "ERROR"

# 解析 JSON 日志并过滤特定字段
{app="api"} | json | status >= 500

# 日志速率指标：过去 5 分钟 5xx 错误日志的速率
rate({app="api"} |= "5xx" [5m])

# 聚合统计：按 service 分组统计错误日志数量
sum by (service) (count_over_time({app="api"} |= "ERROR" [5m]))

3.4 Elasticsearch 数据源接入

Elasticsearch 适合存储结构化业务数据与全文搜索。接入时需指定 Index 名称（支持通配符如 nginx-*）和 Time Field（如 @timestamp）。

3.4.1 查询语言基础

Grafana 中的 Elasticsearch 数据源支持两种查询模式：

• Lucene Query：简单文本搜索，如 status:500 AND method:POST
• Elasticsearch Query DSL：JSON 格式的复杂查询，支持聚合、过滤、排序

# Lucene 查询示例：查找状态码为 500 且请求方法为 POST 的日志
status:500 AND method:POST

# Query DSL 示例：按 service 分组统计错误数
{
  "query": {
    "bool": {
      "filter": [
        {"range": {"@timestamp": {"gte": "now-5m"}}},
        {"term": {"status": 500}}
      ]
    }
  },
  "aggs": {
    "by_service": {
      "terms": {"field": "service.keyword", "size": 10}
    }
  }
}

3.5 数据源查询语言对比与选择

3.6 数据源与查询语言在质量门禁中的角色

下图展示了三种数据源如何协同支撑质量门禁的阈值优化流程：

3.7 数据源配置最佳实践清单

1. 统一标签命名规范：Prometheus 与 Loki 共享标签体系，建议使用 service、env、region 等通用标签，便于跨数据源关联。
2. 配置 Derived Fields：在 Loki 数据源中，将 trace ID 提取为派生字段，实现日志与 Tempo 或 Jaeger 的链路跳转。
3. 启用缓存：为 Elasticsearch 数据源开启查询缓存，减少重复查询对 ES 集群的压力。
4. 设置最大行数：Loki 数据源中设置 Max Lines 为 1000-5000，避免返回过多日志导致面板渲染缓慢。
5. 使用变量：在面板中使用 $datasource 变量引用数据源 UID，便于在不同环境间迁移。