4. cAdvisor 与 kubelet 指标集成：指标路径与标签解析

在 Kubernetes 集群中，容器运行时指标主要通过两条路径暴露：cAdvisor（独立 DaemonSet 或嵌入 kubelet）和 kubelet（内置 cAdvisor 的 /metrics/cadvisor 端点）。理解这两者的集成方式、指标路径差异以及标签解析规则，是设计精准容量预警规则的前提。

4.1 指标暴露架构

cAdvisor 最初作为独立组件运行，从 Kubernetes 1.12 起被直接嵌入 kubelet 中。当前主流集群中，kubelet 的 /metrics/cadvisor 端点提供了与独立 cAdvisor 几乎一致的容器资源指标，但路径和标签结构略有不同。下图展示了指标采集的完整链路：

4.2 核心指标路径与端点对比

kubelet 暴露了多个与容器运行时相关的指标端点，每个端点的用途和指标范围不同。下表列出了最关键的三个端点及其差异：

4.3 标签解析与维度映射

cAdvisor 指标的最大价值在于其丰富的标签维度。每个容器指标都携带了从容器运行时元数据中提取的标签，这些标签直接映射到 Kubernetes 资源模型。以下是核心标签的解析规则：

• container — 容器名称（对应 Pod spec 中的 container name），对于 pause 容器或系统容器可能为空或为 POD。
• pod — Pod 名称，由 kubelet 从 Pod 元数据注入。
• namespace — Pod 所在的命名空间。
• image — 容器镜像全名（含 registry 和 tag），用于按镜像聚合资源消耗。
• name — cAdvisor 内部容器标识，格式为 /kubepods/<guaranteed|burstable|besteffort>/pod<podUID>/<containerID>，可用于 QoS 类识别。
• id — 完整的 cgroup 路径，可用于调试容器运行时层级。
• instance — 节点 IP 或主机名（由 Prometheus 采集配置中的 __address__ 标签重写而来）。

4.4 指标路径与标签的 PromQL 应用

理解标签结构后，可以编写精准的 PromQL 查询。以下示例展示了如何利用标签维度进行容量预警：

# 查询指定命名空间下所有容器的 CPU 使用率（基于 container_cpu_usage_seconds_total）
rate(container_cpu_usage_seconds_total{namespace="production", container!="POD", container!=""}[5m])
  / on(container, pod, namespace)
container_spec_cpu_quota{namespace="production"}
* 100

# 查询内存使用量超过 80% 限制的容器（排除 pause 容器）
container_memory_working_set_bytes{container!="POD", container!=""}
  / on(container, pod, namespace)
container_spec_memory_limit_bytes{container!="POD", container!=""}
> 0.8

# 按 QoS 类聚合 CPU 使用总量
sum by (name) (
  rate(container_cpu_usage_seconds_total{container!="POD", container!=""}[5m])
)
* on(name) group_left()
label_replace(
  kube_pod_status_qos_class{},
  "name",
  "/kubepods/.+/pod$1/.*",
  "pod",
  "(.+)"
)

4.5 采集配置示例

在 Prometheus 中采集 kubelet 的 cAdvisor 指标，推荐使用 kubernetes_sd_configs 自动发现节点，并通过 relabeling 保留关键标签：

scrape_configs:
  - job_name: 'kubelet-cadvisor'
    kubernetes_sd_configs:
      - role: node
    scheme: https
    tls_config:
      ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
      insecure_skip_verify: true
    bearer__file: /var/run/secrets/kubernetes.io/serviceaccount/
    relabel_configs:
      - target_label: __address__
        replacement: kubernetes.default.svc:443
      - source_labels: [__meta_kubernetes_node_name]
        regex: (.+)
        target_label: __metrics_path__
        replacement: /api/v1/nodes/${1}/proxy/metrics/cadvisor
      - action: labelmap
        regex: __meta_kubernetes_node_label_(.+)
    metric_relabel_configs:
      - source_labels: [container]
        target_label: container
        regex: (.+)
        action: keep
      - source_labels: [pod]
        target_label: pod
        regex: (.+)
        action: keep

4.6 常见陷阱与避坑指南