2. ELK 核心组件回顾：Elasticsearch、Logstash、Kibana、Filebeat/Beats 家族的核心功能与数据流架构

在深入索引生命周期管理与存储优化之前，必须重新梳理 ELK 技术栈中每个组件的职责边界与协作方式。生产环境中常见的误区是将 Logstash 当作万能采集器，或将 Elasticsearch 的写入节点与协调节点混为一谈。本节从核心功能、数据流架构、组件对比三个维度进行回顾，为后续的准入控制与存储策略奠定基础。

2.1 组件核心功能与定位

2.2 数据流架构：从采集到可视化的完整链路

一个标准的生产级 ELK 数据流包含四个阶段：采集 → 缓冲/传输 → 解析/转换 → 存储/检索。下图展示了包含可选 Kafka 缓冲层的典型架构。

2.3 Beats 家族对比与选型

Beats 是 Elastic 官方提供的轻量级数据采集器家族。在日志检索准入场景中，Filebeat 是主力，但其他 Beats 在特定场景下不可或缺。

2.4 Logstash Pipeline 核心机制

Logstash 的数据处理单元是 Pipeline，由三个阶段组成：

1. Input：定义数据来源（beats、kafka、file、syslog 等）。
2. Filter：执行解析、转换、过滤（grok、mutate、date、geoip 等）。
3. Output：定义数据去向（elasticsearch、kafka、file 等）。

以下是一个生产级 Pipeline 配置示例，展示如何将 Filebeat 采集的 Nginx 日志解析后写入 ES：

input {
  beats {
    port => 5044
    client_inactivity_timeout => 60
  }
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  date {
    match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]
    target => "@timestamp"
  }
  mutate {
    remove_field => [ "message", "original" ]
    convert => { "response" => "integer" }
  }
}

output {
  elasticsearch {
    hosts => ["http://es-node1:9200", "http://es-node2:9200"]
    index => "nginx-access-%{+YYYY.MM.dd}"
    user => "logstash_writer"
    password => "${ES_PWD}"
    manage_template => false
  }
}

2.5 Elasticsearch 节点角色与数据分布

在 ELK 集群中，Elasticsearch 节点承担不同角色。理解角色分工是后续索引生命周期管理的基础。

2.6 Kibana 在准入控制中的角色

Kibana 不仅是可视化工具，在日志检索准入场景中，它承担以下关键职责：

• 索引模式管理：定义可检索的索引范围，支持通配符匹配。
• ILM 策略可视化配置：在 Stack Management → Index Lifecycle Policies 中创建热-温-冷-删除策略。
• 角色与权限控制：通过 Space、Role、User 实现多租户隔离。
• 告警与监控：基于 Elasticsearch 查询结果触发告警，监控集群健康状态。
• Dev Tools：直接执行 REST API 调试，验证索引映射与查询性能。

2.7 组件协作总结

ELK 各组件的协作关系可以概括为以下流程：