3. Kafka 集群部署：单机与集群模式、配置文件详解、启动与验证

Kafka 的部署模式直接影响消息系统的吞吐量、可用性与运维复杂度。本章从单机快速验证环境入手，逐步过渡到多节点集群部署，并深入解析核心配置文件的参数含义，最后通过生产与消费验证确保集群正确运行。

3.1 部署模式对比

3.2 单机模式部署步骤

1. 下载与解压：从 Apache 官网获取 Kafka 二进制包（如 kafka_2.13-3.6.0.tgz），解压至目标目录。
2. 配置 ZooKeeper（可选）：若使用传统模式，修改 config/zookeeper.properties 中的 dataDir 路径。
3. 配置 Kafka Broker：编辑 config/server.properties，至少设置 broker.id=0 与 log.dirs=/tmp/kafka-logs。
4. 启动 ZooKeeper：bin/zookeeper-server-start.sh config/zookeeper.properties
5. 启动 Kafka：bin/kafka-server-start.sh config/server.properties
6. 验证：创建测试 Topic 并生产/消费一条消息。

# 创建 Topic（单机模式，1 分区 1 副本）
bin/kafka-topics.sh --create --topic test-single --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

# 启动控制台生产者
bin/kafka-console-producer.sh --topic test-single --bootstrap-server localhost:9092
> Hello Kafka Single Node

# 启动控制台消费者（新终端）
bin/kafka-console-consumer.sh --topic test-single --bootstrap-server localhost:9092 --from-beginning
Hello Kafka Single Node

3.3 集群模式部署步骤

以下以 3 节点集群为例，每节点使用独立 server.properties 文件。推荐使用 KRaft 模式（Kafka 3.x+）以简化架构。

3.3.1 集群配置文件核心参数

3.3.2 集群启动流程

1. 为每个节点准备独立的 server.properties，修改 broker.id、log.dirs、listeners 与 controller.quorum.voters。
2. 在每台机器上执行 bin/kafka-storage.sh format -t <uuid> -c config/server.properties 格式化存储（KRaft 模式首次启动必需）。
3. 依次启动各节点：bin/kafka-server-start.sh config/server.properties。
4. 验证集群成员：bin/kafka-broker-api-versions.sh --bootstrap-server node1:9092,node2:9092,node3:9092。

# 生成集群 UUID（仅执行一次）
bin/kafka-storage.sh random-uuid
# 输出示例：m8V1L3eOSvqE3g0K9s2X5w

# 格式化每个节点（以 node1 为例）
bin/kafka-storage.sh format -t m8V1L3eOSvqE3g0K9s2X5w -c config/server.properties

# 启动 node1
bin/kafka-server-start.sh config/server.properties &

# 启动 node2、node3 同理

3.4 集群架构示意

下图展示了一个 3 节点 Kafka 集群的内部组件关系，包含控制器、分区副本分配与客户端交互路径。

3.5 启动验证清单

集群启动后，执行以下命令逐项验证，确保所有组件正常工作。

3.6 配置文件详解（server.properties）

以下列出集群部署中最关键的配置参数组，按功能分类说明。

3.6.1 基础标识与网络

# 每个 Broker 的唯一 ID，集群内不可重复
broker.id=0

# 监听地址与协议
listeners=PLAINTEXT://0.0.0.0:9092

# 对外公布的地址（其他节点与客户端使用）
advertised.listeners=PLAINTEXT://node1.example.com:9092

# 最大网络线程数
num.network.threads=3

# 最大 I/O 线程数
num.io.threads=8

3.6.2 日志与存储

# 日志数据目录（可配置多个，逗号分隔）
log.dirs=/data/kafka/logs

# 每个 Topic 的默认分区数
num.partitions=3

# 日志保留时间（小时）
log.retention.hours=168

# 日志段文件大小（字节）
log.segment.bytes=1073741824

# 日志保留字节限制（-1 为不限）
log.retention.bytes=-1

3.6.3 副本与可靠性

# 默认副本因子
default.replication.factor=2

# 最小同步副本数（写入 ack=all 时生效）
min.insync.replicas=2

# 允许非 Leader 节点进行消费（提高读可用性）
allow.auto.create.topics.enable=false

# 副本从 Leader 拉取数据的最大超时（毫秒）
replica.fetch.wait.max.ms=500

3.6.4 KRaft 控制器配置（Kafka 3.x+）

# 启用 KRaft 模式（不使用 ZooKeeper）
process.roles=broker,controller

# 控制器监听端口
controller.listener.names=CONTROLLER

# 控制器投票节点列表
controller.quorum.voters=0@node1:9093,1@node2:9093,2@node3:9093

# 节点 ID（与 broker.id 一致）
node.id=0

3.7 集群启动后的健康检查

除了命令行验证，建议通过 JMX 或 Kafka 内置指标监控集群健康。以下为关键指标与检查方法。