2. Kafka 核心概念速览：Topic、Partition、Producer、Consumer、Broker、Offset、Consumer Group

在构建支付风控实时评分系统之前，必须透彻理解 Kafka 的七个核心概念。它们是整个流处理架构的基石，直接决定了消息的存储、分发与消费行为。下面逐一拆解，并给出它们在风控场景中的对应关系。

2.1 核心概念一览表

2.2 消息流转全景图

下图展示了从 Producer 发送消息到 Consumer 消费的完整路径，重点标注了 Topic、Partition、Broker 和 Offset 的协作关系。

2.3 核心概念深度解析

2.3.1 Topic 与 Partition

Topic 是消息的逻辑分类。在支付风控中，常见的 Topic 包括：

• payment-events：原始支付请求事件
• risk-decisions：风控决策结果
• blacklist-updates：黑名单变更通知
• feature-cache：用户特征缓存刷新

Partition 是 Topic 的物理分片。每个 Partition 对应一个日志文件，消息以追加方式写入。Partition 的数量决定了 Topic 的最大并行处理能力。

2.3.2 Producer 与消息发送

Producer 负责将消息发布到指定的 Topic。在风控场景中，Producer 通常配置为：

• acks=all：等待所有副本确认，保证不丢消息
• retries=3：发送失败时重试，防止网络抖动
• key 指定：使用用户ID作为 key，确保同一用户进入同一 Partition

// 支付风控 Producer 配置示例
Properties props = new Properties();
props.put("bootstrap.servers", "broker1:9092,broker2:9092,broker3:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("acks", "all");
props.put("retries", 3);
props.put("linger.ms", 5);   // 微批量，提升吞吐

KafkaProducer<String, String> producer = new KafkaProducer<>(props);

// 发送支付事件，以 userId 为 key
ProducerRecord<String, String> record =
    new ProducerRecord<>("payment-events", userId, paymentJson);
producer.send(record, (metadata, exception) -> {
    if (exception != null) {
        // 记录发送失败，触发告警
    }
});

2.3.3 Consumer 与 Consumer Group

Consumer 从 Topic 拉取消息。多个 Consumer 可以组成一个 Consumer Group，共同消费一个 Topic。Group 内的每个 Consumer 负责一个或多个 Partition，实现负载均衡。

2.3.4 Offset 与消费位置管理

Offset 是消息在 Partition 内的唯一递增序号。Consumer 通过提交 Offset 来记录消费进度。Kafka 支持两种提交方式：

• 自动提交（enable.auto.commit=true）：每隔一段时间自动提交，可能重复消费或丢失消息
• 手动提交（enable.auto.commit=false）：业务处理成功后显式提交，精确控制 at-least-once 语义

// 风控场景推荐：手动提交 + 业务处理确认
while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        // 1. 解析支付事件
        PaymentEvent event = parsePaymentEvent(record.value());
        // 2. 执行风控评分（可能调用外部特征服务）
        RiskScore score = riskEngine.evaluate(event);
        // 3. 写入评分结果 Topic
        produceRiskDecision(event.getUserId(), score);
        // 4. 业务处理成功后，手动提交 Offset
        consumer.commitSync();
    }
}

2.4 概念关系总结图

下面这张图从集群维度出发，展示 Broker、Topic、Partition、Offset 之间的层级关系，以及 Producer 和 Consumer Group 如何与它们交互。