3. Kafka 集群搭建：单机与集群部署、关键配置参数

在风控评分场景中，Kafka 集群的稳定性直接决定了实时特征计算的准确性与延迟。本章从单机快速验证到生产级集群部署，系统讲解搭建流程、核心参数调优以及风控场景下的推荐配置。

3.1 单机部署：快速验证环境

单机部署适用于开发测试或小规模 POC（概念验证）。以下为基于 Kafka 3.x 版本的典型步骤：

1. 下载与解压：从 Apache 官网下载二进制包，解压至目标目录。
2. 启动 ZooKeeper（Kafka 3.x 仍推荐使用 ZooKeeper 管理元数据）：
   

   bin/zookeeper-server-start.sh config/zookeeper.properties

3. 修改 server.properties：
   

   broker.id=0
   listeners=PLAINTEXT://localhost:9092
   log.dirs=/tmp/kafka-logs
   num.partitions=3
   offsets.topic.replication.factor=1

4. 启动 Kafka Broker：
   

   bin/kafka-server-start.sh config/server.properties

5. 验证：创建测试 Topic 并发送/消费消息，确认连通性。

3.2 集群部署：生产环境架构

生产级风控集群通常由 3 台或更多 Broker 节点组成，配合外部 ZooKeeper 集群（3 或 5 节点）实现高可用。下图展示了标准集群拓扑：

3.3 关键配置参数详解

以下参数直接影响风控场景下的数据可靠性、吞吐量和故障恢复速度：

3.4 acks 与 replication.factor 的协同机制

在风控评分中，数据不丢是底线。acks 和 replication.factor 必须配合 min.insync.replicas 一起使用，才能形成完整的可靠性保障链。下图展示了不同 acks 取值下的写入确认流程：

3.5 生产环境推荐配置清单

以下配置基于 3 节点 Broker、3 节点 ZooKeeper 的典型风控集群：

# Broker 基础
broker.id=1
listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT://192.168.1.101:9092
log.dirs=/data/kafka/logs

# Topic 默认配置
num.partitions=8
default.replication.factor=3
min.insync.replicas=2

# 可靠性
acks=all
unclean.leader.election.enable=false

# 性能
num.network.threads=8
num.io.threads=16
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600

# 日志保留
log.retention.hours=48
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000

# ZooKeeper 连接
zookeeper.connect=zk1:2181,zk2:2181,zk3:2181
zookeeper.connection.timeout.ms=18000

3.6 部署验证与风控场景测试

集群搭建完成后，建议执行以下验证步骤：

• Topic 创建与副本分布检查：
  

  bin/kafka-topics.sh --create --topic risk-events --partitions 8 --replication-factor 3 --bootstrap-server broker1:9092
  bin/kafka-topics.sh --describe --topic risk-events --bootstrap-server broker1:9092

  确认每个分区的 Leader 和 Replicas 分布在不同的 Broker 上。
• 生产者可靠性测试：使用 acks=all 发送 10 万条模拟风控事件，观察是否有 NotEnoughReplicasException 异常。
• 故障模拟：手动停止一个 Broker，验证 Leader 选举是否在 10 秒内完成，消费者是否持续消费。
• 吞吐量基准：使用 Kafka 自带的 kafka-producer-perf-test.sh 测试，确保单节点吞吐量满足风控峰值 TPS 的 1.5 倍以上。