常用日志采集工具对比：Filebeat、Fluentd、Logstash、Vector
说到日志采集，市面上工具不少。我这些年用过 Filebeat、Fluentd、Logstash，最近也开始接触 Vector。说实话，没有哪把钥匙能开所有锁，选对工具得看场景。
先看一张总览图，把这四兄弟在管道里的位置理清楚：
1. Filebeat —— 轻量级的前哨
Filebeat 是 Elastic 家的小弟，Go 写的。我习惯把它部署在每台机器上，专门盯着日志文件。为什么？因为它轻啊，内存占用 10MB 左右，几乎不抢资源。
核心特点：
- 原生支持 Elasticsearch、Logstash、Kafka。
- 自带模块（nginx、mysql 等），开箱即用。
- 支持多行日志合并（也除栈踪迹）。
- 吞吐瓶颈：单实例极限约 30MB/s（纯文件读取）。
我的经验：搭建 ELK 时，Filebeat 是采集层的默认选择。我曾经在 200 台节点上统一部署，内存开销几乎可以忽略。
2. Fluentd —— 插件生态之王
Fluentd 是 CNCF 毕业项目，Ruby 写了核心，C 写了高性能插件。它在 Kubernetes 生态里特别流行，很多集群直接用 DaemonSet 起 Fluentd。
为什么推荐它？
- 插件数量超过 1000 个，从 stdin 到 BigQuery 全有。
- 自带缓冲（buffer）和重试机制，数据不丢。
- 配置风格是标签 + 匹配，很灵活。
- 但要注意，Ruby 原生的线程模型在超高吞吐下易变慢。
避坑指南：我曾经在生产环境用 Fluentd 接所有容器的 stdout，结果日志峰值时 CPU 飙到 80%。后来换用 Fluent Bit（C 语言版本）做采集，Fluentd 只做聚合，问题解决。
3. Logstash —— 功能最全的“瑞士军刀”
Logstash 是 ELK 的老大哥，Java 写的。它的管道能力确实强：input → filter → output，每个环节能写 Grok、mutate、date 等上百种插件。说实话，我第一次用 Grok 解析非结构化日志时，感觉就像打开了新世界。
| 维度 | Logstash | Filebeat | Fluentd | Vector |
|---|---|---|---|---|
| 开发语言 | Java | Go | Ruby / C | Rust |
| 内存（典型） | 300~800MB | 10~30MB | 50~150MB | 5~20MB |
| 插件数量 | ~300 | ~50 | >1000 | ~100 |
| 性能（单核 MB/s） | 10~20 | 20~40 | 15~25 | 30~60 |
| 配置格式 | 自定义 DSL | YAML | 配置文件 | TOML |
| 适合场景 | 复杂清洗、集中处理 | 边缘采集、轻量传输 | 多云、容器集群 | 高吞吐、边缘计算 |
我的教训：有一回我直接用 Logstash 采集并解析 40 台应用服务器的 access log，内存直接吃满 4G，触发 OOM killer。后来拆成 Filebeat + Logstash 两层，Filebeat 先传 Kafka，Logstash 从 Kafka 消费，稳定多了。记住：别让 Logstash 做采集层，它更适合做聚合处理层。
4. Vector —— 后起之秀
Vector 用 Rust 重写了采集引擎，性能很猛。它的设计理念是“统一数据管道”，能同时处理 metric 和 log。我最近在新项目里尝试用它替代 Filebeat + Fluentd 的组合，效果不错。
亮点：
- 单核吞吐 50MB/s 以上（实测），接近原生 C 的级别。
- 配置统一用 TOML，清晰简洁。
- 支持观察模式（observe），直接对接 OpenTelemetry。
- 社区还在成长，部分企业级功能（如 HA）还不够成熟。
什么时候选 Vector？当你需要超低延迟、边缘侧做数据裁剪、或者想把日志和指标统一采集时，Vector 值得一试。我建议先在非关键业务试跑一个月。
5. 选型实战建议
你想想看，如果让我给团队出方案，我会这样分层：
- 采集层：首选 Filebeat（简单场景）或 Fluent Bit（需要丰富输出）。服务器资源紧张时，我绝不碰 Logstash。
- 缓冲层：用 Kafka 或 Redis 做消息队列，避免采集端直接压到后端。
- 聚合处理层：用 Logstash 做 grok 解析、字段变换；如果对性能敏感，换 Vector。
- 存储层：ES、ClickHouse、S3 等，看你的查询需求。
嗯，这里要注意：工具不是越多越好。我曾经在同一个管道里堆了 Filebeat → Logstash → Fluentd → ES，纯粹为了让团队不同人开心，结果运维复杂度爆炸。保持管道简洁，能两台工具搞定的别用三台。
个人偏好的组合：
- 小规模（日均百 GB）：Filebeat + ES（或自建 Logstash 做解析）
- 中等规模（日均 TB）：Fluent Bit → Kafka → Logstash/Vector → ES
- 大规模（日均 PB）：Vector → Kafka → 自定义处理器 → ClickHouse
最后说一句，没有银弹。我建议你先跑个仿真压测，把工具的内存和 CPU 曲线拉出来看看，再做决定。毕竟日志管道一上线，想换核心工具那可真是伤筋动骨。