4. Helm 部署日志平台：使用 Helm 部署 Elasticsearch、Fluentd、Kibana（EFK）到 Kubernetes 集群

本章将带领你使用 Helm 在 Kubernetes 集群中一键部署完整的 EFK 日志栈。EFK 是 Elasticsearch、Fluentd、Kibana 的缩写，是目前云原生环境下最主流的日志采集、存储与可视化方案。通过 Helm Chart 的标准化封装，我们可以将原本复杂的组件依赖、配置注入、资源声明统一管理，实现可重复、可版本化的日志平台交付。

4.1 EFK 架构与组件职责

在开始部署之前，需要明确 EFK 三个核心组件的分工与数据流向。下图展示了 EFK 在 Kubernetes 集群中的典型部署架构：

4.2 选择 Helm Chart 与版本约束

社区维护的 EFK Helm Chart 主要有两个来源：Elastic 官方 Helm Charts 和 Bitnami 仓库。生产环境推荐使用 Elastic 官方 Chart，版本兼容性更可靠。下表对比了核心组件的版本选型建议：

4.3 部署 Elasticsearch

Elasticsearch 是 EFK 的存储核心，需要合理配置资源、存储和集群拓扑。以下是使用 Helm 部署 ES 的完整步骤。

4.3.1 添加 Helm 仓库并更新

# 添加 Elastic 官方 Helm 仓库
helm repo add elastic https://helm.elastic.co

# 添加 Fluentd 社区仓库
helm repo add fluent https://fluent.github.io/helm-charts

# 更新本地仓库索引
helm repo update

4.3.2 创建 Elasticsearch values 文件

创建一个 es-values.yaml 文件，覆盖默认配置以适应生产环境需求：

# es-values.yaml
clusterName: "efk-logging"
nodeGroup: "data"
replicas: 3

resources:
  requests:
    cpu: "1"
    memory: "2Gi"
  limits:
    cpu: "2"
    memory: "4Gi"

volumeClaimTemplate:
  accessModes: ["ReadWriteOnce"]
  resources:
    requests:
      storage: 50Gi
  storageClassName: "gp2"  # 根据集群存储类调整

esConfig:
  elasticsearch.yml: |
    xpack.security.enabled: true
    xpack.security.transport.ssl.enabled: true
    xpack.security.http.ssl.enabled: true

extraEnvs:
  - name: ELASTIC_PASSWORD
    valueFrom:
      secretKeyRef:
        name: elasticsearch-master-credentials
        key: password

4.3.3 执行 Helm 安装

# 创建命名空间
kubectl create namespace logging

# 部署 Elasticsearch
helm install elasticsearch elastic/elasticsearch \
  --namespace logging \
  --values es-values.yaml \
  --version 8.5.1

4.4 部署 Fluentd

Fluentd 负责从每个节点采集容器日志，解析后发送到 Elasticsearch。我们需要配置日志源路径、解析规则和输出目标。

4.4.1 创建 Fluentd values 文件

# fluentd-values.yaml
image:
  repository: fluent/fluentd-kubernetes-daemonset
  tag: "v1.16-debian-elasticsearch8-1"

configMaps:
  fluentd.conf: |
    <source>
      @type tail
      path /var/log/containers/*.log
      pos_file /var/log/fluentd-containers.log.pos
      tag kubernetes.*
      read_from_head true
      <parse>
        @type json
        time_format %Y-%m-%dT%H:%M:%S.%NZ
      </parse>
    </source>

    <filter kubernetes.**>
      @type kubernetes_metadata
      @id filter_kube_metadata
    </filter>

    <match kubernetes.**>
      @type elasticsearch
      host elasticsearch-master.logging.svc.cluster.local
      port 9200
      scheme https
      ssl_verify false
      user "#{ENV['ES_USER']}"
      password "#{ENV['ES_PASSWORD']}"
      logstash_format true
      logstash_prefix kubernetes-logs
      <buffer>
        @type file
        path /var/log/fluentd-buffers/kubernetes.system.buffer
        flush_mode interval
        retry_type exponential_backoff
        flush_interval 5s
      </buffer>
    </match>

env:
  - name: ES_USER
    value: "elastic"
  - name: ES_PASSWORD
    valueFrom:
      secretKeyRef:
        name: elasticsearch-master-credentials
        key: password

resources:
  requests:
    cpu: 500m
    memory: 512Mi
  limits:
    cpu: 1
    memory: 1Gi

4.4.2 部署 Fluentd

helm install fluentd fluent/fluentd \
  --namespace logging \
  --values fluentd-values.yaml \
  --version 0.5.2

4.5 部署 Kibana

Kibana 提供日志查询和可视化的 Web 界面。部署时需要配置 Elasticsearch 连接信息。

4.5.1 创建 Kibana values 文件

# kibana-values.yaml
imageTag: "8.5.1"

resources:
  requests:
    cpu: "500m"
    memory: "1Gi"
  limits:
    cpu: "1"
    memory: "2Gi"

kibanaConfig:
  kibana.yml: |
    server.name: kibana
    server.host: "0.0.0.0"
    elasticsearch.hosts: ["https://elasticsearch-master.logging.svc.cluster.local:9200"]
    elasticsearch.username: elastic
    elasticsearch.password: ${ELASTIC_PASSWORD}
    elasticsearch.ssl.verificationMode: none

extraEnvs:
  - name: ELASTIC_PASSWORD
    valueFrom:
      secretKeyRef:
        name: elasticsearch-master-credentials
        key: password

service:
  type: ClusterIP
  port: 5601

ingress:
  enabled: true
  className: "nginx"
  hosts:
    - host: kibana.logging.example.com
      paths:
        - path: /
          pathType: Prefix

4.5.2 部署 Kibana

helm install kibana elastic/kibana \
  --namespace logging \
  --values kibana-values.yaml \
  --version 8.5.1

4.6 验证 EFK 整体连通性

部署完成后，需要从数据采集、存储到可视化的全链路验证。下表列出了关键验证点：

4.7 常见部署问题与排错

Helm 部署 EFK 过程中可能遇到以下典型问题，提前了解有助于快速定位：

• Elasticsearch Pod 启动失败（CrashLoopBackOff）：检查 PVC 是否绑定成功，kubectl describe pvc -n logging 查看 Events；确认 StorageClass 是否存在且可用；检查节点资源是否满足 requests 配置。
• Fluentd 无法连接 Elasticsearch：确认 ES Service 名称和端口正确；检查 Secret 中的密码是否与 ES 初始化密码一致；如果 ES 启用了 TLS，Fluentd 配置中需要设置 scheme https 和 ssl_verify false。
• Kibana 页面 503 错误：Kibana 启动时需等待 ES 完全就绪；检查 Kibana 日志 kubectl logs -n logging deployment/kibana-kibana 查看具体连接错误；确认 elasticsearch.hosts 配置的 URL 协议和端口正确。
• 日志索引未创建：Fluentd 的 logstash_prefix 配置决定了索引名称；检查 Fluentd 日志中是否有 400 或 403 响应码，可能是 ES 安全认证配置问题。