消息中间件选型：Kafka vs RabbitMQ vs Pulsar
消息中间件这东西，说白了就是系统的「数据高速公路」。我在做数据共享项目时，选型选错了，后面改起来真是欲哭无泪。今天咱们就把 Kafka、RabbitMQ、Pulsar 这三兄弟掰开揉碎聊清楚。
核心观点：没有最好的中间件，只有最适合你场景的中间件。选型前先想清楚你的数据量、延迟要求、运维能力。
三款中间件的核心差异
先看一张对比表，心里有个底：
| 特性 | Kafka | RabbitMQ | Pulsar |
|---|---|---|---|
| 设计定位 | 分布式日志流平台 | 传统消息代理 | 云原生消息流平台 |
| 消息模型 | 发布-订阅 + 消费组 | 队列 + 交换机 + 绑定 | 发布-订阅 + 消费组 + 分层存储 |
| 吞吐量 | 百万级/秒 | 万级/秒 | 百万级/秒 |
| 延迟 | 毫秒级（批量） | 微秒级 | 毫秒级 |
| 消息持久化 | 磁盘顺序写 | 内存 + 磁盘 | 分层存储（BookKeeper） |
| 运维复杂度 | 中等 | 低 | 高 |
| 社区活跃度 | 极高 | 高 | 中高 |
Kafka：大数据场景的王者
Kafka 是我用得最多的中间件。它的核心思想是「日志即数据」。每条消息追加到分区尾部，消费者自己维护偏移量。
适合场景：
- 日志采集和聚合
- 流式数据处理（配合 Flink/Spark）
- 数据管道（数据库 CDC）
- 指标监控数据收集
避坑指南：我曾经在某个项目中，用 Kafka 做订单消息的精确投递。结果发现 Kafka 的「至少一次」语义导致重复消费。后来加了幂等性处理才解决。记住，Kafka 不保证消息不重复，只保证不丢。
我的经验：Kafka 的吞吐量优势来自顺序写磁盘和零拷贝技术。如果你需要处理海量日志，选 Kafka 准没错。但如果你需要复杂路由，Kafka 的灵活性就不够了。
RabbitMQ：灵活路由的利器
RabbitMQ 走的是另一条路。它用交换机（Exchange）和绑定（Binding）实现灵活的消息路由。你想想看，一个消息可以同时发到多个队列，还能按规则过滤。
适合场景：
- 需要复杂路由的业务系统
- 微服务间的异步调用
- 任务队列（延迟任务、优先级队列）
- 中小规模的消息系统
避坑指南：我记得有一次，RabbitMQ 集群突然脑裂，消息全堵住了。排查下来是网络抖动导致节点间心跳超时。后来我加了超时参数调优，才稳定下来。RabbitMQ 的集群模式对网络要求比较高。
注意：RabbitMQ 的吞吐量上限在十万级/秒。如果你日均消息量过亿，建议直接上 Kafka 或 Pulsar。别硬撑，我见过有人用 RabbitMQ 扛百万级流量，最后集群直接崩了。
Pulsar：云原生的后起之秀
Pulsar 是这三兄弟里最年轻的。它把计算和存储分离了。Broker 只管计算，BookKeeper 管存储。这种架构让它天生适合云环境。
适合场景：
- 需要无限消息保留的场景
- 多租户隔离的云平台
- 跨地域复制
- 需要同时支持队列和流
避坑指南：Pulsar 的运维复杂度确实高。我刚开始部署时，BookKeeper 的磁盘配置没调好，写入性能惨不忍睹。后来参考官方文档，把 journal 和 ledger 分盘存储，才恢复正常。
关键点：Pulsar 的分层存储特性很实用。你可以把热数据放 SSD，冷数据放 HDD 甚至对象存储。这在 Kafka 里实现起来很麻烦。
选型考量因素
我个人习惯从五个维度来评估：
- 吞吐量需求：日均消息量级是多少？峰值是多少？
- 延迟要求：是毫秒级还是微秒级？能否接受批量处理？
- 消息模型：需要复杂路由吗？需要消息回溯吗？
- 运维能力：团队有专职运维吗？能接受多高的运维成本？
- 生态集成：现有技术栈是什么？需要和哪些系统对接？
举个例子：如果你做的是电商订单系统，需要可靠投递和复杂路由，RabbitMQ 更合适。如果你做的是用户行为日志采集，日均几亿条，Kafka 是首选。如果你在云上做多租户平台，Pulsar 的架构优势就体现出来了。
我的建议：选型时别只看技术指标。想想团队里谁会运维这个中间件。我见过太多项目选了个高大上的中间件，结果没人会调优，最后跑得还不如 RabbitMQ 稳。
部署环境准备
不管选哪个，部署前的环境准备都差不多。我列个清单：
| 项目 | 要求 | 说明 |
|---|---|---|
| 操作系统 | Linux（CentOS 7+ / Ubuntu 18.04+） | Windows 不推荐生产环境 |
| JDK | JDK 8 或 11 | Kafka 和 Pulsar 依赖 Java |
| 磁盘 | SSD 优先，至少 100GB | Kafka 和 Pulsar 对磁盘 IO 敏感 |
| 内存 | 至少 8GB，推荐 16GB+ | RabbitMQ 内存占用相对低 |
| 网络 | 千兆以太网，低延迟 | 集群节点间网络要稳定 |
| ZooKeeper | Kafka 需要，Pulsar 可选 | RabbitMQ 不需要 |
部署步骤（以 Kafka 为例）：
# 1. 下载和解压
wget https://downloads.apache.org/kafka/3.5.0/kafka_2.13-3.5.0.tgz
tar -xzf kafka_2.13-3.5.0.tgz
cd kafka_2.13-3.5.0
# 2. 启动 ZooKeeper（Kafka 依赖）
bin/zookeeper-server-start.sh config/zookeeper.properties &
# 3. 修改 Kafka 配置
# 编辑 config/server.properties
# 关键参数：
# broker.id=0
# listeners=PLAINTEXT://localhost:9092
# log.dirs=/data/kafka/logs
# num.partitions=3
# 4. 启动 Kafka
bin/kafka-server-start.sh config/server.properties &
# 5. 验证
bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --partitions 3 --replication-factor 1
bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092
bin/kafka-console-consumer.sh --topic test --bootstrap-server localhost:9092 --from-beginning重要：生产环境一定要配置 log.dirs 到独立的数据盘。别和系统盘混在一起。我曾经因为磁盘写满导致 Kafka 直接挂掉，数据丢了几个小时。
知识体系总览
下面这张图帮你理清选型的整体思路：
这张图把选型逻辑串起来了。从中间件选型出发，分到三个产品，每个产品有自己的核心特性，最后落到选型考量因素。你选型时，就沿着这个路径走一遍，基本不会出错。
最后说一句：部署环境准备这块，别图省事。磁盘分区、内存分配、网络配置，每项都按生产标准来。我见过太多「先跑起来再说」的项目，最后都回来补课了。