4. 日志采集器配置：Promtail安装、scrape_configs详解、静态与动态服务发现

日志采集是Loki可观测性管道的起点。Promtail作为Loki官方推荐的日志采集器，负责从各类目标中抓取日志、添加标签并推送至Loki。本章将深入讲解Promtail的安装部署、核心配置结构以及服务发现机制，帮助你在发布工程自助门户中构建可靠、可扩展的日志采集层。

4.1 Promtail安装与部署

Promtail以单一二进制文件分发，支持多种安装方式。在生产环境中，推荐使用Systemd或容器化部署以确保进程保活与资源隔离。

4.2 scrape_configs 配置结构详解

Promtail的核心配置位于 scrape_configs 块中，它定义了“从哪采集、如何发现、如何转换标签”。每个配置项都是一个独立的job，包含以下关键字段：

以下是一个典型的 scrape_configs 配置示例，采集Nginx访问日志并添加静态标签：

scrape_configs:
  - job_name: nginx-access
    static_configs:
      - targets:
          - localhost
        labels:
          job: nginx
          env: production
          __path__: /var/log/nginx/access.log
    relabel_configs:
      - source_labels: ['__path__']
        target_label: 'logfile'
        replacement: '$1'
    pipeline_stages:
      - regex:
          expression: '^(?P<remote_addr>\S+) - - \[(?P<time_local>[^\]]+)\] "(?P<request>[^"]*)" (?P<status>\d+) (?P<body_bytes_sent>\d+)'
      - timestamp:
          source: time_local
          format: '02/Jan/2006:15:04:05 -0700'

4.3 静态服务发现 vs 动态服务发现

服务发现决定了Promtail如何获取日志目标列表。静态发现适用于固定路径，动态发现则适应弹性伸缩的云原生环境。

以下SVG图展示了静态发现与动态发现在采集流程中的位置差异：

4.4 基于文件的服务发现（file_sd_configs）

文件服务发现是静态与动态之间的折中方案。Promtail定期读取指定目录下的JSON或YAML文件，文件内容包含目标列表和标签。当文件内容变化时，Promtail自动更新采集目标。

文件格式示例（/etc/promtail/targets/nginx.json）：

[
  {
    "targets": ["localhost"],
    "labels": {
      "job": "nginx",
      "env": "staging",
      "__path__": "/var/log/nginx/staging/*.log"
    }
  },
  {
    "targets": ["localhost"],
    "labels": {
      "job": "nginx",
      "env": "production",
      "__path__": "/var/log/nginx/production/*.log"
    }
  }
]

配置引用方式：

scrape_configs:
  - job_name: nginx-file-sd
    file_sd_configs:
      - files:
          - '/etc/promtail/targets/*.json'
        refresh_interval: 30s

4.5 Kubernetes服务发现（kubernetes_sd_configs）

在Kubernetes环境中，Promtail通常以DaemonSet方式运行在每个节点上，通过K8s API自动发现Pod、Service、Node等资源，并采集其日志。这是发布工程自助门户中日志采集的核心模式。

关键配置参数：

以下是一个完整的K8s服务发现配置示例，采集所有带有 app=nginx 标签的Pod日志：

scrape_configs:
  - job_name: kubernetes-pods
    kubernetes_sd_configs:
      - role: pod
        selectors:
          - role: pod
            label: 'app=nginx'
    relabel_configs:
      - action: keep
        source_labels: ['__meta_kubernetes_pod_label_app']
        regex: 'nginx'
      - action: replace
        source_labels: ['__meta_kubernetes_pod_name']
        target_label: 'pod'
      - action: replace
        source_labels: ['__meta_kubernetes_namespace']
        target_label: 'namespace'
      - action: replace
        source_labels: ['__meta_kubernetes_pod_container_name']
        target_label: 'container'
      - action: replace
        source_labels: ['__meta_kubernetes_pod_node_name']
        target_label: 'node'
      - action: replace
        replacement: '/var/log/pods/*$1/*.log'
        source_labels: ['__meta_kubernetes_pod_uid', '__meta_kubernetes_pod_container_name']
        separator: '/'
        target_label: '__path__'

4.6 标签重写（relabel_configs）实战

标签重写是Promtail配置中最灵活、也最容易出错的部分。它决定了日志最终携带哪些标签，直接影响Loki的查询效率和存储成本。

常用动作（action）说明：

以下SVG图展示了标签重写在Promtail采集流水线中的位置与作用：