2. Kafka 核心概念回顾：Topic、Partition、Producer、Consumer、Broker、Replication、ISR 机制

在深入分布式事务压测场景之前，必须对 Kafka 的核心概念建立精确、一致的理解。这些概念是后续吞吐量建模、参数调优和故障注入测试的基石。本节将逐一拆解 Topic、Partition、Producer、Consumer、Broker、Replication 以及 ISR 机制，并重点说明它们在分布式事务场景中的特殊含义。

2.1 核心概念全景图

下图展示了 Kafka 集群中核心组件之间的逻辑关系与数据流向。理解这张图是掌握后续所有压测策略的前提。

2.2 核心概念详解

2.2.1 Broker

Broker 是 Kafka 集群中的单个服务器节点，负责存储消息、处理客户端请求、管理分区副本。在分布式事务压测中，Broker 的硬件资源（CPU、内存、磁盘 IO、网络带宽）直接决定了集群的吞吐量上限。

• 集群角色：多个 Broker 组成集群，通过 ZooKeeper 或 KRaft 进行协调。
• Controller：集群中有一个 Broker 充当 Controller，负责分区 Leader 的选举和集群元数据管理。
• 压测关注点：Broker 的 JVM 堆大小、操作系统页缓存、磁盘类型（HDD vs SSD）对吞吐量的影响。

2.2.2 Topic 与 Partition

2.2.3 Producer

Producer 负责将消息发布到指定的 Topic。在分布式事务压测中，Producer 的行为直接影响事务的原子性和吞吐量。

• acks 参数：
  • acks=0：不等待确认，吞吐量最高，但可能丢消息。
  • acks=1：等待 Leader 确认，吞吐量与可靠性折中。
  • acks=all（或 -1）：等待所有 ISR 副本确认，保证最强持久性，但延迟最高。
• 事务性 Producer：通过 initTransactions()、beginTransaction()、commitTransaction() 实现跨分区和跨会话的原子写入。
• 幂等性：启用 enable.idempotence=true 可防止 Producer 重试导致的消息重复。

// 事务性 Producer 配置示例
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("transactional.id", "txn-producer-1");
props.put("enable.idempotence", true);
props.put("acks", "all");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

KafkaProducer<String, String> producer = new KafkaProducer<>(props);
producer.initTransactions();

try {
    producer.beginTransaction();
    producer.send(new ProducerRecord<>("order-events", "txn-001", "create_order"));
    producer.send(new ProducerRecord<>("payment-events", "txn-001", "deduct_balance"));
    producer.commitTransaction();
} catch (Exception e) {
    producer.abortTransaction();
}

2.2.4 Consumer

Consumer 从 Topic 拉取消息进行消费。在分布式事务场景中，Consumer 通常需要处理事务边界消息和补偿逻辑。

• 消费组 (Consumer Group)：组内消费者共同消费一个 Topic，每个 Partition 只能被组内的一个消费者消费。
• 偏移量 (Offset)：Consumer 通过提交 Offset 记录消费进度。事务场景中建议使用 isolation.level=read_committed，只读取已提交的事务消息。
• 再均衡 (Rebalance)：当消费者加入或离开时触发，可能导致短暂的消费停顿。压测时需要评估 Rebalance 对吞吐量的影响。

2.2.5 Replication 与 ISR 机制

Replication 是 Kafka 保证数据高可用的核心机制。每个 Partition 可以有多个副本 (Replica)，其中一个是 Leader，其余是 Follower。

2.3 核心概念在分布式事务压测中的映射

2.4 小结