2. Kafka 核心概念：Topic、Partition、Producer、Consumer、Broker、Zookeeper 的作用

在风控评分场景中，Kafka 作为实时流处理的核心管道，其架构由多个组件协同工作。理解这些核心概念是构建高吞吐、低延迟风控评分系统的基础。本节将逐一拆解 Topic、Partition、Producer、Consumer、Broker 和 Zookeeper 的角色与交互机制。

2.1 整体架构概览

下图展示了 Kafka 集群中核心组件的关系：Producer 将消息发送到 Broker 集群的特定 Topic，Topic 被切分为多个 Partition 以实现并行存储，Consumer Group 中的 Consumer 实例各自负责消费不同 Partition 的数据，而 Zookeeper 负责协调整个集群的元数据与状态。

2.2 核心概念详解

2.2.1 Broker

Broker 是 Kafka 集群中的单个服务器节点，负责接收来自 Producer 的消息、存储消息到磁盘、响应 Consumer 的拉取请求。在风控场景中，通常部署 3 个或更多 Broker 形成集群，以提供高可用性和水平扩展能力。

• 职责：消息存储、副本管理、请求处理。
• 关键参数：log.dirs（数据目录）、num.partitions（默认分区数）、default.replication.factor（默认副本因子）。
• 风控建议：生产环境至少 3 个 Broker，副本因子设为 2 或 3，防止单点故障导致评分数据丢失。

2.2.2 Topic 与 Partition

Topic 是消息的逻辑分类，类似于数据库中的表。在风控评分中，可以为不同事件类型创建独立 Topic，例如 transaction-events、login-events、device-fingerprint。

Partition 是 Topic 的物理分片，每个 Partition 是一个有序的、不可变的消息序列。Partition 的数量决定了 Topic 的并行处理能力。

2.2.3 Producer

Producer 负责将消息发布到指定的 Topic。在风控系统中，Producer 通常是业务服务（如交易系统、登录服务）或埋点 SDK。

• 发送模式：同步发送、异步发送（带回调）、Fire-and-Forget。
• 关键配置：acks（确认机制）、retries（重试次数）、batch.size（批量大小）、linger.ms（延迟发送时间）。
• 分区策略：默认轮询、按 Key 哈希、自定义分区器。

// 风控事件 Producer 示例（Java）
Properties props = new Properties();
props.put("bootstrap.servers", "broker1:9092,broker2:9092,broker3:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("acks", "all");          // 等待所有副本确认
props.put("retries", 3);           // 失败重试
props.put("linger.ms", 5);         // 延迟 5ms 以批量发送

KafkaProducer<String, String> producer = new KafkaProducer<>(props);
// 发送风控事件：key 为用户ID，value 为 JSON 格式事件
producer.send(new ProducerRecord<>("risk-events", "user_12345", eventJson));

2.2.4 Consumer 与 Consumer Group

Consumer 从 Broker 拉取消息进行处理。在风控评分中，Consumer 通常是评分引擎或流处理任务（如 Flink、Spark Streaming）。

Consumer Group 是 Kafka 实现点对点（Queue）和发布订阅（Pub/Sub）两种模型的关键机制。同一个 Group 内的 Consumer 共同消费 Topic 的所有消息，每条消息只被 Group 内的一个 Consumer 处理。

2.2.5 Zookeeper

Zookeeper 在 Kafka 中扮演协调者的角色，负责管理集群元数据和选举。在风控场景中，Zookeeper 的稳定性直接影响 Kafka 集群的可用性。

2.3 核心概念关系总结

下表总结了各组件在风控实时评分中的角色定位：