2. Kafka 核心概念：Topic、Partition、Producer、Consumer、Broker、Offset、Consumer Group 的概念与关系

在实时图谱构建中，Kafka 作为数据中枢，承担着高吞吐、低延迟的消息流转职责。理解其核心概念是搭建可靠实时管道的前提。本章将逐一拆解 Kafka 的 7 个核心组件，并阐明它们之间的协作关系。

2.1 核心概念速览

下表概括了每个概念的本质与职责，便于快速建立全局认知：

2.2 概念关系全景图

下图展示了 Producer、Broker、Consumer 之间通过 Topic 与 Partition 进行数据流转的核心架构：

2.3 核心概念深度解析

2.3.1 Topic 与 Partition

• Topic 是消息的逻辑分类，类似数据库中的表。实时图谱中通常按事件类型划分 Topic，例如 graph-edge-events、entity-property-updates。
• Partition 是 Topic 的物理分片，每个 Partition 是一个有序、不可变的日志文件。Partition 数量决定了 Topic 的最大并行处理能力。
• 消息在 Partition 内通过 Offset 唯一标识，Offset 只在本 Partition 内有效。

2.3.2 Producer 与消息路由

• Producer 负责将消息发布到指定 Topic。每条消息可以携带 Key，Kafka 根据 Key 的哈希值决定写入哪个 Partition。
• 无 Key 的消息采用轮询（Round-Robin）策略分发，适合不关心顺序的场景。
• 在实时图谱中，通常将实体 ID 作为 Key，确保同一实体的变更事件进入同一 Partition，从而保证局部有序。

// Producer 发送消息示例（Java）
Properties props = new Properties();
props.put("bootstrap.servers", "broker1:9092,broker2:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

KafkaProducer<String, String> producer = new KafkaProducer<>(props);
ProducerRecord<String, String> record = new ProducerRecord<>(
    "graph-edge-events",   // Topic
    "entity-12345",        // Key（实体ID）
    "{\"source\":\"A\",\"target\":\"B\",\"relation\":\"follows\"}"  // Value
);
producer.send(record);
producer.close();

2.3.3 Broker 与集群存储

• Broker 是 Kafka 服务器节点，负责存储 Partition 数据并处理客户端请求。
• 多个 Broker 组成集群，Partition 会在 Broker 间分布并自动进行副本复制（Replication），保障高可用。
• 每个 Partition 有一个 Leader 副本和多个 Follower 副本，读写请求全部由 Leader 处理。

2.3.4 Consumer 与 Consumer Group

• Consumer 从 Partition 拉取消息并处理。每个 Consumer 属于一个 Consumer Group。
• Consumer Group 实现“发布-订阅”模式：一条消息只能被同一 Group 内的一个 Consumer 消费一次；不同 Group 可以独立消费同一消息。
• Group 内 Consumer 数量不应超过 Topic 的 Partition 总数，否则多余 Consumer 会处于空闲状态。

2.3.5 Offset 与消费进度

• Offset 是 Partition 内每条消息的递增序号，从 0 开始。Consumer 通过提交 Offset 记录消费进度。
• Offset 提交到 Kafka 内部 Topic __consumer_offsets 中，Consumer 重启后从上次提交的 Offset 继续消费。
• 支持“自动提交”（默认每 5 秒）和“手动提交”两种模式。图谱场景建议使用手动提交，确保消息处理完成后再提交 Offset，避免数据丢失。

// Consumer 手动提交 Offset 示例（Java）
Properties props = new Properties();
props.put("bootstrap.servers", "broker1:9092");
props.put("group.id", "graph-builder-group");
props.put("enable.auto.commit", "false");  // 关闭自动提交
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Arrays.asList("graph-edge-events"));

while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        // 处理图谱更新逻辑
        processGraphEvent(record.value());
    }
    // 处理完成后手动提交 Offset
    consumer.commitSync();
}

2.4 概念关系总结

下图以数据流视角，将 Producer、Broker、Partition、Consumer Group 与 Offset 的协作关系串联为一条完整链路：

2.5 常见误区与避坑