2. ELK技术栈回顾

在深入冷热分层架构之前，必须重新梳理 ELK 技术栈中三个核心组件的职责与协作关系。Elasticsearch 负责存储与检索，Logstash 负责数据采集与转换，Kibana 负责可视化与交互。三者通过 RESTful API 和标准输出/输入插件形成完整的数据管道。

2.1 Elasticsearch 核心概念

Elasticsearch 是一个基于 Lucene 的分布式搜索与分析引擎，所有数据以 JSON 文档形式存储，并通过倒排索引实现近乎实时的全文检索。

2.2 Logstash 数据采集与管道处理

Logstash 是一个服务器端数据处理管道，能够同时从多个来源采集数据，进行实时解析、转换，并发送到 Elasticsearch 或其他存储后端。其核心架构由三个阶段组成：输入（Input） → 过滤（Filter） → 输出（Output）。

2.2.1 管道三阶段

• Input 插件： 负责从各种数据源读取数据。常用插件包括 file（日志文件）、beats（Filebeat）、kafka、tcp/udp、syslog。
• Filter 插件： 对输入数据进行解析、转换和丰富。核心插件包括 grok（正则解析）、mutate（字段增删改）、date（时间戳处理）、geoip（地理信息）、useragent（用户代理解析）。
• Output 插件： 将处理后的数据发送到目标系统。最常用的是 elasticsearch，此外还有 kafka、stdout（调试）、file。

2.2.2 典型 Logstash 配置示例

input {
  beats {
    port => 5044
    codec => "json"
  }
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  date {
    match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]
    target => "@timestamp"
  }
  mutate {
    add_field => { "index_prefix" => "nginx-access" }
    remove_field => [ "message", "timestamp" ]
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "%{index_prefix}-%{+YYYY.MM.dd}"
    manage_template => false
  }
  stdout { codec => rubydebug }
}

2.3 Kibana 可视化与交互

Kibana 是 Elastic Stack 的可视化层，提供数据探索、仪表板构建、监控管理和告警功能。在冷热分层场景中，Kibana 主要用于监控集群健康状态、查看索引在各层节点的分布，以及分析日志数据的时效性。

2.3.1 核心功能模块

2.4 三组件协作流程总结

1. 数据采集： Logstash 通过 Input 插件从日志文件、消息队列或网络端口读取原始数据。
2. 数据解析： Filter 插件使用 Grok 模式匹配、日期解析和字段变换，将非结构化日志转换为结构化 JSON。
3. 数据索引： 处理后的文档通过 Output 插件写入 Elasticsearch 的指定索引，索引名称通常包含时间后缀（如 nginx-access-2025.03.21）。
4. 分层存储： Elasticsearch 根据 ILM 策略自动将索引从热节点迁移到温节点、冷节点，最终删除。
5. 可视化与监控： Kibana 通过 Discover 模块查询各层数据，通过 Stack Monitoring 模块查看节点角色和分片分配状态。