3. Kafka 集群搭建：单机与集群部署、ZooKeeper 依赖、关键配置参数

实时风控系统对消息通道的可用性与吞吐量有极高要求。Kafka 作为核心消息总线，其部署方式直接决定了风控链路的稳定性。本章从单机快速验证开始，逐步深入到多节点集群部署，并详细解析 ZooKeeper 的依赖关系与核心配置参数。

3.1 部署模式对比：单机 vs 集群

在风控系统不同阶段，Kafka 的部署策略差异明显。下表从多个维度对比两种模式，帮助你在开发、测试与生产环境做出合理选择。

3.2 ZooKeeper：Kafka 的“协调大脑”

ZooKeeper 是 Kafka 集群的元数据存储与协调服务。它负责管理以下核心状态：

• Broker 注册与发现： 每个 Kafka 节点启动时在 ZK 中创建临时节点，消费者通过 ZK 获取可用 Broker 列表。
• Topic 元数据： 记录 Topic 的分区数、副本因子、ISR（In-Sync Replicas）列表。
• Controller 选举： 集群中第一个启动的 Broker 成为 Controller，负责分区 Leader 的分配与重平衡。
• 消费者组偏移量（旧版）： 在 Kafka 0.9 之前，偏移量存储在 ZK 中；新版已移至 Kafka 内部 Topic __consumer_offsets。

3.3 单机部署步骤（快速验证）

以下步骤在 Linux 环境下完成，适用于风控开发人员快速搭建本地测试环境。

1. 下载与解压： 从 Apache 官网下载 Kafka 二进制包（如 kafka_2.13-3.2.0.tgz），解压至 /opt/kafka。
2. 启动 ZooKeeper： Kafka 内置 ZK 脚本，可直接启动单节点 ZK。

# 启动 ZooKeeper（单节点）
cd /opt/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties &

3. 修改 Kafka 配置： 编辑 config/server.properties，关键参数如下：

# 每个 Broker 的唯一标识
broker.id=0
# 监听地址（0.0.0.0 表示所有网卡）
listeners=PLAINTEXT://0.0.0.0:9092
# 日志存储路径
log.dirs=/tmp/kafka-logs
# 分区数（风控场景建议 3~6）
num.partitions=3
# ZooKeeper 连接地址
zookeeper.connect=localhost:2181

4. 启动 Kafka：

bin/kafka-server-start.sh config/server.properties &

5. 验证： 创建测试 Topic 并发送消息。

bin/kafka-topics.sh --create --topic risk-test --bootstrap-server localhost:9092 --partitions 3 --replication-factor 1
bin/kafka-console-producer.sh --topic risk-test --bootstrap-server localhost:9092

3.4 集群部署实战（3 节点）

生产级风控系统至少需要 3 个 Kafka 节点 + 3 个 ZooKeeper 节点。以下为集群部署的核心步骤。

3.4.1 ZooKeeper 集群配置

在三台服务器上分别配置 zookeeper.properties，关键参数如下：

在每台服务器的 dataDir 目录下创建 myid 文件，内容为对应节点编号（1、2、3）。

3.4.2 Kafka 集群配置

三台 Broker 的 server.properties 差异仅在于 broker.id 与 listeners。以下为通用配置模板：

# Broker 唯一 ID（每台不同：0,1,2）
broker.id=0
# 监听地址（使用本机 IP）
listeners=PLAINTEXT://192.168.1.10:9092
# 日志目录（建议使用独立磁盘）
log.dirs=/data/kafka-logs
# 分区数（风控场景建议 6）
num.partitions=6
# 副本因子（至少 2，建议 3）
default.replication.factor=3
# ISR 最小副本数（保证写入可靠性）
min.insync.replicas=2
# ZooKeeper 集群地址
zookeeper.connect=192.168.1.10:2181,192.168.1.11:2181,192.168.1.12:2181

3.5 关键配置参数详解

以下参数直接影响风控系统的消息可靠性、吞吐量与延迟，必须根据业务场景精细调整。

3.6 部署验证与风控联调

集群启动后，执行以下验证步骤确保风控链路可用：

• 查看 Broker 状态： bin/kafka-broker-api-versions.sh --bootstrap-server node1:9092,node2:9092,node3:9092
• 创建风控 Topic： 指定副本因子为 3，分区数为 6。

bin/kafka-topics.sh --create \
  --topic risk-event \
  --bootstrap-server node1:9092 \
  --partitions 6 \
  --replication-factor 3

• 模拟生产者： 发送风控事件 JSON 消息，验证消息分布到不同分区。
• 模拟消费者： 启动风控规则引擎消费者，确认消息消费无重复、无丢失。