2. Kafka集群搭建

2.1 部署模式概述

Kafka 支持两种部署模式：单机模式用于开发测试，集群模式用于生产环境。两种模式的核心差异在于 Broker 数量、副本机制与 ZooKeeper 配置。

2.2 ZooKeeper 依赖说明

Kafka 从 0.9 版本开始依赖 ZooKeeper 管理集群元数据，包括 Broker 注册、Topic 配置、分区 Leader 选举、消费者组偏移量等。ZooKeeper 是 Kafka 集群的“协调大脑”。

2.3 单机模式部署步骤

1. 下载与解压：从 Apache 官网下载 Kafka 二进制包，解压至目标目录。
2. 启动 ZooKeeper：Kafka 内置了 ZooKeeper 脚本，可直接启动单节点 ZooKeeper。
3. 修改配置文件：编辑 config/server.properties，设置 broker.id=0、listeners=PLAINTEXT://localhost:9092、log.dirs=/tmp/kafka-logs。
4. 启动 Kafka：运行 bin/kafka-server-start.sh config/server.properties。
5. 验证：创建 Topic、生产消息、消费消息，确认功能正常。

2.4 集群模式部署步骤

集群模式需要准备多台服务器（或同一台机器的多个端口），每台 Broker 拥有独立的 server.properties 配置文件。

2.5 配置文件详解

核心配置文件为 config/server.properties，以下列出集群部署必须关注的关键参数：

2.6 集群启动与验证

启动顺序：先启动所有 ZooKeeper 节点，再依次启动每个 Kafka Broker。

2.6.1 启动 ZooKeeper 集群

# 在每台 ZooKeeper 节点上执行
bin/zookeeper-server-start.sh config/zookeeper.properties

2.6.2 启动 Kafka Broker

# 在每台 Broker 节点上执行，使用对应的 server.properties
bin/kafka-server-start.sh config/server.properties

2.6.3 验证集群状态

1. 查看 Broker 列表：使用 ZooKeeper 客户端检查 /brokers/ids 节点。
2. 创建 Topic 并指定副本：

bin/kafka-topics.sh --create \
  --bootstrap-server broker1:9092,broker2:9092,broker3:9092 \
  --replication-factor 3 \
  --partitions 3 \
  --topic test-cluster

3. 查看 Topic 详情：

bin/kafka-topics.sh --describe \
  --bootstrap-server broker1:9092 \
  --topic test-cluster

4. 生产与消费验证：

# 生产者
bin/kafka-console-producer.sh --broker-list broker1:9092,broker2:9092,broker3:9092 --topic test-cluster

# 消费者
bin/kafka-console-consumer.sh --bootstrap-server broker1:9092,broker2:9092,broker3:9092 --topic test-cluster --from-beginning

2.7 常见问题与避坑指南