3. 搜索系统核心组件：Elasticsearch容器化部署、Logstash与Filebeat配置、Kibana可视化接入

搜索缓存一致性故障排查的起点，是搭建一套完整、可复现的容器化ELK技术栈。本章聚焦于Elasticsearch、Logstash、Filebeat与Kibana四个核心组件的Docker化部署与配置，为后续的缓存一致性验证与故障注入提供标准运行环境。

3.1 整体架构与数据流

在容器化搜索系统中，数据从业务应用产生到最终在Kibana中可视化的完整路径如下：

3.2 Elasticsearch 容器化部署

Elasticsearch（ES）是搜索系统的核心存储与检索引擎。容器化部署时需重点关注内存限制、数据持久化与集群发现机制。

3.2.1 单节点部署（开发/测试环境）

docker run -d \
  --name elasticsearch \
  -p 9200:9200 \
  -p 9300:9300 \
  -e "discovery.type=single-node" \
  -e "ES_JAVA_OPTS=-Xms1g -Xmx1g" \
  -e "xpack.security.enabled=false" \
  -v es_data:/usr/share/elasticsearch/data \
  docker.elastic.co/elasticsearch/elasticsearch:8.11.0

3.2.2 多节点集群部署（生产环境）

使用Docker Compose编排3节点ES集群，确保高可用与数据冗余：

version: '3.8'
services:
  es01:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.11.0
    container_name: es01
    environment:
      - node.name=es01
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es02,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - ES_JAVA_OPTS=-Xms2g -Xmx2g
    volumes:
      - es_data01:/usr/share/elasticsearch/data
    ports:
      - "9200:9200"
  es02:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.11.0
    container_name: es02
    environment:
      - node.name=es02
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - ES_JAVA_OPTS=-Xms2g -Xmx2g
    volumes:
      - es_data02:/usr/share/elasticsearch/data
  es03:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.11.0
    container_name: es03
    environment:
      - node.name=es03
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es02
      - cluster.initial_master_nodes=es01,es02,es03
      - ES_JAVA_OPTS=-Xms2g -Xmx2g
    volumes:
      - es_data03:/usr/share/elasticsearch/data
volumes:
  es_data01:
  es_data02:
  es_data03:

3.3 Logstash 配置与容器化

Logstash负责从Filebeat接收日志，进行解析、过滤和结构化处理，再写入Elasticsearch。其核心是Pipeline配置。

3.3.1 Logstash Pipeline 配置示例

# logstash.conf
input {
  beats {
    port => 5044
    codec => "json"
  }
}

filter {
  # 解析Nginx访问日志
  if [fields][log_type] == "nginx_access" {
    grok {
      match => { "message" => "%{COMBINEDAPACHELOG}" }
    }
    date {
      match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]
      target => "@timestamp"
    }
    mutate {
      remove_field => [ "message" ]
    }
  }
  # 添加缓存一致性追踪标识
  mutate {
    add_field => { "[@metadata][trace_id]" => "%{[fields][trace_id]}" }
  }
}

output {
  elasticsearch {
    hosts => ["http://elasticsearch:9200"]
    index => "search-logs-%{+YYYY.MM.dd}"
    user => "elastic"
    password => "${ES_PASSWORD}"
  }
}

3.3.2 容器化启动命令

docker run -d \
  --name logstash \
  --network elk-net \
  -p 5044:5044 \
  -v ./logstash.conf:/usr/share/logstash/pipeline/logstash.conf:ro \
  -e ES_PASSWORD=changeme \
  docker.elastic.co/logstash/logstash:8.11.0

3.4 Filebeat 配置与容器化

Filebeat作为轻量级日志采集器，部署在业务应用容器旁，负责读取日志文件并发送到Logstash。

3.4.1 Filebeat 配置示例

# filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  fields:
    log_type: nginx_access
    trace_id: "${HOSTNAME}"
  fields_under_root: false

output.logstash:
  hosts: ["logstash:5044"]
  ssl.enabled: false

logging.level: info

3.4.2 容器化启动命令

docker run -d \
  --name filebeat \
  --network elk-net \
  -v /var/log/nginx:/var/log/nginx:ro \
  -v ./filebeat.yml:/usr/share/filebeat/filebeat.yml:ro \
  docker.elastic.co/beats/filebeat:8.11.0

3.5 Kibana 可视化接入

Kibana提供搜索数据的可视化界面，用于日志查询、仪表盘构建与缓存一致性监控。

3.5.1 容器化部署

docker run -d \
  --name kibana \
  --network elk-net \
  -p 5601:5601 \
  -e ELASTICSEARCH_HOSTS=http://elasticsearch:9200 \
  -e ELASTICSEARCH_USERNAME=elastic \
  -e ELASTICSEARCH_PASSWORD=changeme \
  docker.elastic.co/kibana/kibana:8.11.0

3.5.2 接入验证步骤

3.6 组件版本兼容性矩阵

ELK组件版本必须严格对齐，否则可能出现协议不兼容或功能缺失：

3.7 缓存一致性追踪字段设计

为后续故障排查提供可追溯的上下文，在日志采集阶段注入以下追踪字段：

• trace_id：全局唯一请求ID，贯穿应用→Filebeat→Logstash→ES。
• cache_key：缓存操作对应的键名，用于关联缓存与ES文档。
• cache_action：缓存操作类型（GET/SET/DELETE/INVALIDATE）。
• es_doc_version：写入ES时的文档版本号，用于比对缓存版本。

3.8 部署验证清单

完成所有组件部署后，执行以下验证确保链路畅通：

1. ES健康检查： curl http://localhost:9200/_cluster/health 返回 status: green。
2. Logstash端口监听： docker logs logstash | grep "Pipeline started"。
3. Filebeat连接测试： docker logs filebeat | grep "Connected to logstash"。
4. Kibana索引模式： 在Kibana中创建索引模式后，Discover页面可检索到日志数据。
5. 追踪字段验证： 在Discover中展开一条日志，确认包含 trace_id、cache_key 等字段。