4. 集群资源监控基础：Prometheus与Grafana部署、核心指标采集（CPU、内存、磁盘、网络）

在Operator集群中，资源监控是容量规划与成本优化的前提。没有精确的监控数据，任何资源调整都是盲目的。本章将搭建以Prometheus为核心、Grafana为可视化层的监控栈，并重点采集CPU、内存、磁盘、网络四大核心指标，为后续的利用率分析与成本分摊奠定数据基础。

4.1 监控架构概览

Operator集群的监控体系采用“拉取（Pull）”模型，由Prometheus Server主动从各目标端点（Targets）抓取指标。Grafana作为数据源连接Prometheus，提供仪表盘与告警管理。整体架构分为三层：

• 数据采集层：Node Exporter（节点指标）、kube-state-metrics（K8s对象指标）、cAdvisor（容器指标，已内置于kubelet）。
• 存储与查询层：Prometheus Server负责指标存储、聚合与告警规则评估。
• 可视化与告警层：Grafana提供仪表盘，Alertmanager处理告警通知。

4.2 Prometheus部署（Operator方式）

推荐使用 Prometheus Operator 在K8s集群中部署，它通过CRD（Custom Resource Definition）管理Prometheus、Alertmanager及相关配置，大幅降低运维复杂度。

4.2.1 部署步骤

1. 安装Prometheus Operator：使用Helm Chart或直接应用kube-prometheus-stack。
2. 创建Prometheus实例：定义Prometheus CR，指定副本数、存储卷、资源限制。
3. 配置ServiceMonitor：定义哪些Service的 /metrics 端点需要被抓取。
4. 验证抓取状态：通过Prometheus Web UI的“Targets”页面确认所有端点均为UP。

4.2.2 核心配置示例

apiVersion: monitoring.coreos.com/v1
kind: Prometheus
metadata:
  name: operator-prometheus
  namespace: monitoring
spec:
  replicas: 2
  retention: 15d
  resources:
    requests:
      memory: 4Gi
      cpu: 2
    limits:
      memory: 8Gi
      cpu: 4
  storage:
    volumeClaimTemplate:
      spec:
        storageClassName: fast-ssd
        resources:
          requests:
            storage: 100Gi
  serviceMonitorSelector:
    matchLabels:
      team: ops

4.3 Grafana部署与数据源配置

Grafana负责将Prometheus中的指标转化为可视化仪表盘。部署方式同样推荐使用Helm Chart，并预先导入社区成熟的Kubernetes监控模板。

4.3.1 部署命令

helm repo add grafana https://grafana.github.io/helm-charts
helm repo update
helm install grafana grafana/grafana \
  --namespace monitoring \
  --set persistence.enabled=true \
  --set persistence.size=10Gi \
  --set adminPassword='your-strong-password' \
  --set datasources."datasources\.yaml".apiVersion=1 \
  --set datasources."datasources\.yaml".datasources[0].name=Prometheus \
  --set datasources."datasources\.yaml".datasources[0].type=prometheus \
  --set datasources."datasources\.yaml".datasources[0].url=http://operator-prometheus:9090 \
  --set datasources."datasources\.yaml".datasources[0].access=proxy \
  --set datasources."datasources\.yaml".datasources[0].isDefault=true

4.3.2 推荐仪表盘ID

4.4 核心指标采集详解

Operator集群的资源监控聚焦于四大类指标：CPU、内存、磁盘、网络。每类指标又分为节点级和Pod级两个维度，分别对应Node Exporter和cAdvisor的数据源。

4.4.1 CPU指标

4.4.2 内存指标

4.4.3 磁盘指标

4.4.4 网络指标

4.5 指标采集验证与常见问题

部署完成后，必须验证指标是否正确采集。以下是快速验证清单：

• Prometheus Targets状态：访问 http://<prometheus-service>:9090/targets，确认所有Endpoint显示为UP。
• 指标查询测试：在Prometheus的Graph页面执行 up{job="node-exporter"}，应返回所有节点的UP值（1表示正常）。
• Grafana数据源连通性：在Grafana中测试数据源，返回“Data source is working”。
• 仪表盘数据填充：导入推荐仪表盘后，确认图表有数据点，而非“No data”。

4.6 成本优化视角的指标选择

在成本优化场景中，并非所有指标都同等重要。建议优先关注以下成本敏感指标：