缺陷定位技术：从日志分析到断点调试全流程详解 - 第4节

4.1 日志采集与集中管理概述

在分布式系统与微服务架构中，日志分散在成百上千台服务器上。缺陷定位的第一步，就是将这些分散的日志高效、可靠地采集并集中存储，以便进行全文检索与关联分析。ELK/EFK 架构是目前业界最主流的日志集中管理方案。

4.1.1 日志采集架构演进

4.2 ELK 与 EFK 架构对比

ELK 由 Elasticsearch、Logstash、Kibana 组成；EFK 将 Logstash 替换为 Fluentd，两者核心差异在于数据采集与处理层。

4.3 Filebeat 配置与最佳实践

Filebeat 是轻量级日志采集器，负责从日志文件中读取数据并发送到 Logstash 或 Elasticsearch。其核心配置包括输入、输出与多行处理。

4.3.1 基础配置示例

# filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/app/*.log
  # 多行合并：将 Java 异常栈合并为一条事件
  multiline:
    pattern: '^\d{4}-\d{2}-\d{2}'
    negate: true
    match: after

output.logstash:
  hosts: ["logstash01:5044", "logstash02:5044"]
  loadbalance: true
  compression_level: 6

4.4 Logstash 配置与数据处理

Logstash 作为数据处理管道，负责接收、解析、过滤和输出日志。其配置由 input、filter、output 三部分组成。

4.4.1 典型配置结构

# logstash.conf
input {
  beats {
    port => 5044
    client_inactivity_timeout => 60
  }
}

filter {
  # 解析 JSON 格式日志
  if [message] =~ /^{/ {
    json {
      source => "message"
      target => "parsed"
    }
  }
  # 添加时间戳字段
  date {
    match => ["timestamp", "ISO8601"]
    target => "@timestamp"
  }
  # 移除原始 message 减少存储
  mutate {
    remove_field => ["message"]
  }
}

output {
  elasticsearch {
    hosts => ["http://es01:9200", "http://es02:9200"]
    index => "app-logs-%{+YYYY.MM.dd}"
    manage_template => false
  }
}

4.5 Kafka 缓冲层设计

在日志量突增（如促销活动、故障恢复）时，Logstash 可能成为瓶颈。引入 Kafka 作为缓冲层，可以实现削峰填谷，保证数据不丢失。

4.5.1 Kafka 配置要点

4.5.2 Logstash 对接 Kafka 配置

# logstash.conf (Kafka 输入)
input {
  kafka {
    bootstrap_servers => "kafka01:9092,kafka02:9092,kafka03:9092"
    topics => ["app-logs"]
    group_id => "logstash-group"
    consumer_threads => 3
    auto_offset_reset => "latest"
    codec => "json"
  }
}

filter {
  # 数据清洗逻辑
}

output {
  elasticsearch {
    hosts => ["http://es01:9200"]
    index => "app-logs-%{+YYYY.MM.dd}"
  }
}

4.6 本章小结