2. 日志系统架构概览：端到端链路与关键组件

在生产环境中，一条日志从业务进程发出到最终在查询接口返回，会经历采集、传输、缓冲、解析、存储和检索等多个阶段。理解这条端到端链路，是后续进行查询接口性能调优的前提。本章将拆解日志工程的标准架构，并逐一介绍核心组件：Filebeat、Kafka、Logstash 和 Elasticsearch。

2.1 端到端日志链路总览

下图展示了日志从产生到被查询的完整数据流。箭头方向代表数据流动方向，每个阶段都承担着特定的职责。

2.2 关键组件详解

2.2.1 Filebeat — 轻量日志采集器

Filebeat 是部署在业务服务器上的日志采集 Agent，负责读取日志文件并将日志行发送到下游。它的核心设计目标是轻量和可靠。

• 采集方式： 支持 tail 文件、标准输入、TCP/UDP 等多种输入。
• 背压机制： 当下游（如 Kafka）不可用时，Filebeat 会暂停读取并保留偏移量，重启后继续发送。
• 资源占用： 默认使用 Go 语言编写，内存占用通常在 10~50 MB 之间，CPU 开销极低。

2.2.2 Kafka — 分布式消息队列

Kafka 在日志链路中扮演缓冲层的角色，用于解耦采集端与消费端，并提供削峰填谷的能力。

2.2.3 Logstash — 日志解析与转换引擎

Logstash 从 Kafka 消费日志数据，执行解析、过滤、格式转换等操作，然后将结构化数据写入 Elasticsearch。

• 输入插件： 常用 Kafka Input Consumer，支持多分区并行消费。
• 过滤插件： Grok（正则解析）、Date（时间戳转换）、Mutate（字段增删改）等。
• 输出插件： Elasticsearch Output，支持批量写入和索引路由。

2.2.4 Elasticsearch — 分布式搜索与分析引擎

Elasticsearch 是日志查询接口的后端存储和检索系统。查询接口的每一次请求最终都会转化为 ES 的查询 DSL。

• 索引（Index）： 按时间或业务维度划分，例如 logs-2025-04-01。
• 分片（Shard）： 每个索引被拆分为多个分片，分布在集群节点上。
• 查询流程： 协调节点接收请求 → 分发到各分片 → 合并结果 → 返回。

2.3 组件对比与选型建议

2.4 链路中的关键性能指标

在后续调优章节中，我们会反复用到以下指标。建议在监控系统中提前配置好这些指标的采集。

• 采集延迟： 日志产生时间 → Filebeat 读取时间。
• 传输延迟： Filebeat 发送 → Kafka 确认接收。
• 消费延迟： Kafka 中最新消息的偏移量 → Logstash 当前消费偏移量。
• 索引延迟： Logstash 发送 → Elasticsearch 刷新（refresh）完成。
• 查询延迟： 查询接口收到请求 → 返回完整结果。