2. Kubernetes集群可观测性基础：Prometheus、Grafana、Loki、Tempo在K8s中的部署架构与数据采集链路

在构建DORA度量体系之前，必须首先建立稳固的集群可观测性底座。Kubernetes集群的复杂性要求我们采用指标（Metrics）、日志（Logs）、链路（Traces）三支柱协同的观测策略。本章将深入剖析Prometheus、Grafana、Loki、Tempo四件套在K8s环境中的标准部署模式与数据采集链路，为后续SLI口径计算提供可靠的数据源。

2.1 四件套在K8s中的角色定位与数据流

每个组件承担不同的观测职责，数据流从集群底层向上汇聚：

2.2 部署架构：Operator模式与组件拓扑

生产环境推荐使用Helm Chart + Operator方式部署，以kube-prometheus-stack为例，其架构包含以下核心组件：

• Prometheus Operator：管理Prometheus实例的生命周期，自动发现ServiceMonitor、PodMonitor、Probe等CRD。
• Prometheus Server：StatefulSet部署，挂载PVC持久化数据，配置远程写（Remote Write）到Thanos或VictoriaMetrics。
• Alertmanager：处理告警路由、分组、抑制与静默，对接钉钉/邮件/PagerDuty。
• Grafana：Deployment部署，配置多个数据源（Prometheus、Loki、Tempo），预置DORA仪表盘模板。
• Loki：微服务模式（Distributor、Ingester、Querier、Compactor），依赖对象存储。
• Tempo：同样微服务化（Distributor、Ingester、Querier、Compactor），支持多租户。

2.3 数据采集链路详解

2.3.1 指标采集链路（Prometheus）

Prometheus采用拉（Pull）模式采集指标，核心链路如下：

1. 自动发现：Prometheus Operator通过Kubernetes API Watch Pod/Service/Endpoint变化，动态生成采集目标。
2. 指标暴露：应用Pod通过/metrics端点暴露Prometheus格式指标；Node Exporter暴露节点级指标；cAdvisor暴露容器级指标。
3. 拉取与存储：Prometheus Server按配置的scrape_interval（默认15s）拉取指标，写入本地TSDB。
4. 远程写：配置remote_write将数据副本发送到Thanos/VictoriaMetrics实现长期存储。

2.3.2 日志采集链路（Loki）

Loki采用推（Push）模式，推荐使用Promtail作为日志采集Agent：

• Promtail：DaemonSet部署在每个Node上，读取容器日志文件（/var/log/pods/*/*/*.log），添加K8s标签（namespace、pod、container等），通过HTTP/gRPC推送到Loki Distributor。
• Distributor：验证数据合法性，根据标签哈希分片转发到对应的Ingester。
• Ingester：将日志数据批量写入对象存储（如MinIO），同时维护内存中的最近数据用于快速查询。
• Querier：接收Grafana的LogQL查询，合并内存与对象存储中的结果返回。

2.3.3 链路追踪采集链路（Tempo）

Tempo兼容OpenTelemetry（OTLP）和Jaeger协议，典型链路：

1. 应用埋点：微服务通过OpenTelemetry SDK自动注入Trace上下文（TraceID、SpanID、ParentSpanID）。
2. 数据上报：应用通过OTLP Exporter将Span数据发送到Tempo Distributor（gRPC/HTTP）。
3. 哈希路由：Distributor根据TraceID哈希将Span路由到对应的Ingester，保证同一Trace的所有Span进入同一实例。
4. 存储与查询：Ingester将Span批量写入对象存储，Querier通过TraceQL按TraceID或属性检索。

2.4 关键配置示例

以下为Prometheus采集Kubernetes核心组件的ServiceMonitor配置片段：

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: kube-apiserver
  namespace: monitoring
spec:
  endpoints:
  - interval: 30s
    port: https
    scheme: https
    tlsConfig:
      insecureSkipVerify: true
    bearerTokenFile: /var/run/secrets/kubernetes.io/serviceaccount/
  namespaceSelector:
    matchNames:
    - default
  selector:
    matchLabels:
      component: apiserver
      provider: kubernetes

Loki的Promtail配置示例（采集所有容器日志并添加K8s标签）：

scrape_configs:
- job_name: kubernetes-pods
  kubernetes_sd_configs:
  - role: pod
  pipeline_stages:
  - docker: {}
  - labels:
      namespace: ""
      pod: ""
      container: ""
  relabel_configs:
  - source_labels: [__meta_kubernetes_pod_label_app]
    target_label: app

2.5 部署注意事项与避坑指南

2.6 与DORA度量的关联

四件套为DORA四关键指标提供原始数据支撑：