📚 课程目录第4章 Prometheus监控采集

4. Prometheus 监控采集：配置 Prometheus 采集 Istio 网关指标

在 Istio 入口网关的容量水位与 OPA 安全基线联动巡检体系中，指标采集是数据驱动的起点。只有将 Istio 网关暴露的 Envoy 指标、控制面指标以及业务层面的请求指标准确、完整地拉入 Prometheus，后续的告警规则、Dashboard 和 OPA 策略评估才有可靠的数据基础。本节将聚焦 Prometheus 的采集配置、关键 Metric 名称及其标签语义。

4.1 采集架构与数据流

Istio 默认在网格中集成了 Prometheus 生态。入口网关 Pod 内的 Envoy 代理会暴露一个标准的 /stats/prometheus 端点，输出符合 Prometheus 格式的指标。Prometheus 通过 Kubernetes 服务发现自动发现网关 Pod，并拉取指标。

生产建议： 建议为 Prometheus 配置独立的 ServiceMonitor（若使用 Prometheus Operator）或 scrape_config，避免与 Istio 自带的采集配置冲突，确保指标标签的完整性和一致性。

4.2 Prometheus 采集配置详解

以下是一份针对 Istio 入口网关的 Prometheus 采集配置示例，适用于 prometheus.yml 或 Prometheus Operator 的 ServiceMonitor 定义。

scrape_configs:
  - job_name: 'istio-ingressgateway'
    kubernetes_sd_configs:
      - role: pod
        namespaces:
          names:
            - istio-system
    relabel_configs:
      # 只保留入口网关 Pod
      - source_labels: [__meta_kubernetes_pod_label_istio]
        action: keep
        regex: ingressgateway
      # 只拉取 Envoy 指标端口
      - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_port]
        action: keep
        regex: '15090'
      # 重命名指标路径
      - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_path]
        action: replace
        target_label: __metrics_path__
        regex: (.+)
        replacement: $1
      # 添加静态标签
      - target_label: job
        replacement: 'istio-ingressgateway'
      - target_label: mesh_id
        replacement: 'mesh-default'
    # 采集间隔
    scrape_interval: 15s
    scrape_timeout: 10s
    # 指标端点
    metrics_path: /stats/prometheus
    scheme: http
    port: 15090

  关键配置点：
  服务发现： 使用 kubernetes_sd_configs 的 role: pod，限定命名空间 istio-system。
标签过滤： 通过 __meta_kubernetes_pod_label_istio 保留 ingressgateway 标签的 Pod。
端口与路径： Envoy 指标端口为 15090，路径为 /stats/prometheus。
采集频率： 15 秒一次，超时 10 秒，满足容量水位巡检的实时性要求。

4.3 关键 Metric 名称与标签语义

Istio 网关暴露的指标主要分为三类：Envoy 原生指标、Istio 标准指标和控制面指标。以下表格列出了巡检中最核心的 Metric 及其标签含义。

Metric 名称	类型	核心标签	用途说明
`istio_requests_total`	Counter	`destination_service`, `response_code`, `source_principal`	网关总请求数，用于计算 QPS 和错误率
`istio_request_duration_milliseconds_bucket`	Histogram	`destination_service`, `le`	请求延迟分布，用于 P99/P95 延迟计算
`envoy_cluster_upstream_rq`	Counter	`envoy_cluster_name`, `envoy_response_code_class`	Envoy 上游集群请求数，反映后端服务负载
`envoy_cluster_upstream_cx_active`	Gauge	`envoy_cluster_name`	活跃连接数，用于容量水位评估
`envoy_listener_downstream_cx_active`	Gauge	`envoy_listener_address`	监听器活跃连接数，网关入口连接水位
`envoy_server_memory_heap_size`	Gauge	`pod_name`, `namespace`	Envoy 进程堆内存，用于内存泄漏检测
`pilot_total_xds_rejects`	Counter	`type`, `reason`	控制面 XDS 拒绝次数，反映配置推送问题

4.4 标签在巡检中的关键作用

标签是 PromQL 查询和 OPA 策略评估的核心。在容量水位与安全基线联动场景中，以下标签组合尤为重要：

destination_service + response_code： 按服务维度统计 5xx 错误率，触发 OPA 安全策略（如自动熔断）。
source_principal： 标识请求来源身份，用于 OPA 的 RBAC 策略评估。
envoy_cluster_name： 区分不同后端集群的容量水位，避免单一集群过载。
reporter： 值为 source 或 destination，决定指标是来自客户端还是服务端，影响延迟计算。

避坑提示： 如果 Prometheus 采集时丢失了 destination_service 或 source_principal 标签，OPA 策略将无法按服务或身份进行精细化评估。务必在 relabel_configs 中保留这些标签，不要随意删除或覆盖。

4.5 验证采集是否成功

配置完成后，可通过以下步骤验证指标是否正常入库：

检查 Target 状态： 在 Prometheus UI 的 /targets 页面，确认 istio-ingressgateway 任务下的 Pod 处于 UP 状态。
查询指标： 在 Prometheus 的 /graph 页面执行 istio_requests_total{job="istio-ingressgateway"}，应返回非空结果。
检查标签完整性： 执行 istio_requests_total{job="istio-ingressgateway"}[1m]，观察返回的标签是否包含 destination_service、response_code 等关键字段。
模拟流量： 使用 curl 或 fortio 向网关发送请求，确认指标计数增加。

4.6 常见问题与排查

问题现象	可能原因	解决方案
Target 显示 `DOWN`	Pod 标签不匹配或端口未暴露	检查 Pod 是否包含 `istio=ingressgateway` 标签，确认 `15090` 端口在 Pod 的 `containerPorts` 中
指标为空	采集路径错误或 Envoy 未启动	验证 `metrics_path` 是否为 `/stats/prometheus`，检查 Envoy 日志
缺少关键标签	`relabel_configs` 覆盖了原始标签	避免在 `relabel_configs` 中删除 `destination_service` 等标签，使用 `action: labelmap` 保留 Istio 标签
采集延迟过高	采集间隔过短或网关 Pod 数量过多	适当增大 `scrape_interval` 至 30s，或使用 `honor_labels: true` 减少标签重写开销

最佳实践： 在 Prometheus 中为 Istio 网关指标单独创建一个 recording rule，预计算 istio_requests_total 的 1 分钟速率，减少 OPA 巡检时的查询负载。例如：rate(istio_requests_total{job="istio-ingressgateway"}[1m])。