1. ELK 技术栈概述

1.1 什么是 ELK

ELK 是三个开源项目的首字母缩写，分别代表 Elasticsearch、Logstash 和 Kibana。这三者组合在一起，形成了一套完整的日志采集、传输、存储、检索与可视化解决方案。在发布准入场景中，ELK 技术栈承担着“日志审计中心”和“发布质量门禁”的双重角色，是 DevOps 流水线中不可或缺的可观测性基础设施。

1.2 核心组件介绍

Elasticsearch

Elasticsearch 基于 Apache Lucene 构建，是一个分布式、RESTful 风格的搜索和分析引擎。它以 倒排索引 为核心数据结构，支持近乎实时的数据写入与检索。在发布准入场景中，Elasticsearch 存储所有发布相关的日志、指标和审计记录，并提供毫秒级的查询响应。

• 集群（Cluster）： 一组节点共同提供服务，默认集群名 elasticsearch。
• 节点（Node）： 单个 Elasticsearch 实例，分为 Master、Data、Ingest、Coordinating 等角色。
• 索引（Index）： 具有相似特征的文档集合，类似关系数据库中的“表”。
• 分片（Shard）： 索引的物理拆分单元，支持水平扩展。

Logstash

Logstash 是一个轻量级的数据处理引擎，采用 Input → Filter → Output 三阶段管道模型。它支持 200+ 插件，能够从文件、TCP/UDP、Beats、Kafka 等多种来源采集数据，并通过 Grok、Date、Mutate 等过滤器进行结构化解析。

# Logstash 管道配置示例（发布日志采集）
input {
  beats {
    port => 5044
    ssl => false
  }
}

filter {
  grok {
    match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} \[%{LOGLEVEL:level}\] %{GREEDYDATA:message_body}" }
  }
  date {
    match => [ "timestamp", "ISO8601" ]
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "publish-logs-%{+YYYY.MM.dd}"
  }
}

Kibana

Kibana 是 ELK 栈的“窗户”，提供基于 Web 的日志探索、仪表盘制作、告警管理和机器学习功能。在发布准入流程中，运维人员通过 Kibana 实时查看发布日志、对比版本差异、设置异常告警阈值。

• Discover： 自由搜索和过滤日志数据。
• Dashboard： 组合多个可视化图表，形成发布监控大屏。
• Canvas： 制作像素级精度的实时数据展示。
• Alerting： 基于查询条件触发邮件、Webhook 等告警动作。

1.3 ELK 在日志检索与发布准入中的应用场景

ELK 技术栈在发布准入流程中覆盖了从“代码提交”到“生产上线”的全链路可观测性。以下表格列出了典型应用场景及其对应的 ELK 组件职责：

1.4 ELK 技术栈架构总览

下图展示了 ELK 在发布准入环境中的典型部署架构，包含数据采集层、缓冲层、处理层、存储层和展示层：

1.5 发布准入场景中的关键数据流

在发布准入流程中，日志数据从产生到最终展示需要经过以下关键步骤，每一步都对应 ELK 技术栈的特定组件：

1. 日志产生： 应用服务器、容器或云平台产生原始日志文件，格式包括 JSON、纯文本、多行堆栈等。
2. 轻量采集： Filebeat 或 Metricbeat 作为 Agent 部署在每台服务器上，读取日志文件并发送到 Logstash 或 Kafka。
3. 缓冲与削峰： Kafka 作为消息队列，在日志流量突发时提供缓冲，防止 Logstash 或 Elasticsearch 过载。
4. 解析与结构化： Logstash 通过 Grok 正则、Date 解析、Mutate 字段重命名等过滤器，将非结构化日志转换为结构化 JSON。
5. 索引存储： 结构化数据通过 Bulk API 批量写入 Elasticsearch，按日期和发布版本创建索引。
6. 检索与可视化： Kibana 通过 Elasticsearch Query DSL 查询数据，生成发布监控仪表盘和告警规则。
7. 准入决策： 基于日志中的错误率、响应时间、异常数量等指标，自动判断发布是否通过准入门禁。

1.6 本章小结