3. Kafka核心架构回顾：Broker、Topic、Partition、Producer、Consumer、ISR机制

在深入Outbox模式与压测方案之前，必须对Kafka的底层架构建立清晰的认知。Kafka是一个分布式、分区化、多副本的发布-订阅消息系统，其核心组件围绕日志存储与流处理设计。本节将逐一拆解Broker、Topic、Partition、Producer、Consumer以及ISR机制，为后续的可靠性压测打下理论基础。

3.1 核心组件总览

Kafka集群由多个Broker（服务器节点）组成，每个Broker负责存储消息并处理客户端请求。Topic是消息的逻辑分类，每个Topic被切分为多个Partition（分区），分区是Kafka并行读写与水平扩展的基本单元。Producer将消息发布到指定Topic的Partition，Consumer从Partition中拉取消息进行消费。为了保证高可用，每个Partition拥有多个副本（Replica），其中ISR（In-Sync Replica）机制决定了哪些副本是“同步的”，从而影响消息的持久性与一致性。

3.2 Broker 与 Topic

每个Topic在创建时需指定分区数和副本因子。分区数决定了Topic的最大并行度；副本因子决定了数据冗余度，直接影响可用性。

3.3 Partition 与副本机制

Partition是Kafka存储的最小单位，每个Partition是一个有序、不可变的消息序列，消息通过追加方式写入，每个消息被分配一个唯一的偏移量（Offset）。

每个Partition可以有多个副本，其中：

• Leader副本：负责处理所有读写请求。每个Partition只有一个Leader。
• Follower副本：被动从Leader同步数据，不对外提供服务。当Leader宕机时，从ISR中选举新的Leader。

3.4 Producer 与消息发送

Producer将消息发布到指定Topic。发送方式分为三种：

1. acks=0：不等待任何确认，吞吐量最高，但可能丢消息。
2. acks=1：等待Leader确认，Leader写入本地日志即返回，不等待Follower同步。
3. acks=all（或-1）：等待Leader和所有ISR副本确认，最可靠，延迟最高。

Producer还可以通过分区器决定消息写入哪个Partition。默认分区器基于key的哈希值取模；若key为null，则使用轮询（Round-Robin）或粘性分区（Sticky Partitioner）。

// Producer 配置示例（Java）
Properties props = new Properties();
props.put("bootstrap.servers", "broker1:9092,broker2:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("acks", "all");                 // 最可靠
props.put("retries", 3);                  // 重试次数
props.put("enable.idempotence", true);    // 开启幂等性
props.put("linger.ms", 5);                // 批量发送延迟
props.put("batch.size", 16384);           // 批量大小（字节）

3.5 Consumer 与消费组

Consumer从Partition拉取消息。多个Consumer可以组成一个Consumer Group，组内每个Consumer负责消费一个或多个Partition，实现负载均衡。如果Consumer数量超过Partition数，多余的Consumer会处于空闲状态。

3.6 ISR机制：数据一致性的基石

ISR（In-Sync Replica）是Kafka保证数据一致性与高可用的核心机制。ISR是Leader维护的一个与Leader保持同步的Follower副本列表。只有ISR中的副本才有资格在Leader故障时被选举为新的Leader。

判断一个Follower是否在ISR中的标准：

• Follower必须定期向Leader发送Fetch请求，且请求中携带的偏移量不能落后Leader太多。
• 落后阈值由参数 replica.lag.time.max.ms（默认30秒）控制。如果Follower超过该时间未同步或落后过多，将被踢出ISR。

3.7 关键参数与压测关联