3. Kafka主题与分区工程实践

主题（Topic）是Kafka中消息的逻辑分类单元，而分区（Partition）是主题的物理并行单元。理解这两者的关系，是做好实时数据管道工程的基础。本节从主题创建入手，逐步展开分区规划、副本配置、保留与清理策略，并通过CLI与AdminClient完成主题生命周期管理，最后分析分区数对吞吐与顺序性的实际影响。

一、主题创建与核心参数

创建主题时，最关键的三个参数是分区数、副本因子和清理策略。以下命令创建一个名为 orders.events 的主题，6个分区、3副本、保留7天：

kafka-topics.sh --bootstrap-server broker1:9092 \
  --create --topic orders.events \
  --partitions 6 \
  --replication-factor 3 \
  --config retention.ms=604800000 \
  --config cleanup.policy=delete \
  --config min.insync.replicas=2

其中 retention.ms=604800000 表示消息保留7天（7×24×3600×1000毫秒）。cleanup.policy=delete 表示按时间或大小删除旧段；若设为 compact，则按key保留最新值，适合变更日志类场景。min.insync.replicas=2 要求至少2个副本确认写入，配合生产者 acks=all 可防止单副本故障导致数据丢失。

创建后可用 --describe 查看分区分布与ISR状态：

kafka-topics.sh --bootstrap-server broker1:9092 \
  --describe --topic orders.events

输出会显示每个分区的Leader、Replicas和Isr。若某分区ISR数量小于副本因子，说明有副本落后，需要关注broker负载或网络状况。

二、分区规划：吞吐与顺序性的权衡

分区数决定了主题的最大并行度。生产者可同时向多个分区写入，消费者组内每个分区只能由一个消费者实例消费。因此，分区数应至少等于预期消费者并发数，否则增加消费者实例也无法提升消费吞吐。

但分区数并非越大越好。分区过多会增加broker的元数据管理开销、文件句柄占用和Leader选举时间；同时，Kafka只保证单分区内消息有序，跨分区不保证顺序。若业务要求同一订单的事件严格有序，必须让同一订单ID路由到同一分区。常用做法是以订单ID作为key，Kafka默认按 hash(key) % partitions 分区，这样同一订单的消息会进入同一分区。

假设订单峰值写入为 50 MB/s，单分区实测可承载约 10 MB/s，则至少需要5个分区；再考虑消费者并发为8，则分区数应取8或更大。实际规划时建议预留2～3倍余量，但避免超过集群单broker可承受的分区总数（通常建议单broker不超过2000～4000个分区）。

三、副本配置与数据可靠性

副本因子决定每个分区的数据在多少个broker上冗余。生产环境通常设为3，允许1个broker故障而不丢数据。副本分为Leader和Follower，生产者只写Leader，Follower主动拉取同步。ISR（In-Sync Replicas）是当前与Leader保持同步的副本集合。

关键配置组合：replication.factor=3、min.insync.replicas=2、生产者 acks=all。这意味着写入必须被Leader和至少1个Follower确认，若ISR只剩1个副本，写入会被拒绝，从而避免数据丢失。若将 min.insync.replicas 设为1，则Leader写入成功即返回，broker故障时可能丢数据。

四、保留策略与清理策略

Kafka提供两种清理策略：delete 和 compact。delete按时间或日志大小删除旧段，适合事件流；compact按key保留最新值，适合状态快照或配置同步。两者可组合为 compact,delete，既压缩又删除过期数据。

保留参数包括 retention.ms（时间）、retention.bytes（分区大小）、log.segment.bytes（段大小）和 log.retention.check.interval.ms（检查周期）。例如，设置 retention.bytes=10737418240 表示每个分区最多保留10 GB，超出后删除最旧的段。注意，删除以段为单位，因此实际保留量可能略大于设定值。

五、AdminClient生命周期管理

除CLI外，生产环境常用AdminClient以编程方式管理主题。以下Java示例创建主题并设置配置：

Properties props = new Properties();
props.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, "broker1:9092");
try (AdminClient admin = AdminClient.create(props)) {
    NewTopic topic = new NewTopic("orders.events", 6, (short) 3)
        .configs(Map.of(
            "retention.ms", "604800000",
            "cleanup.policy", "delete",
            "min.insync.replicas", "2"
        ));
    admin.createTopics(List.of(topic)).all().get();
}

AdminClient还支持 describeTopics、createPartitions、deleteTopics 和 alterConfigs。注意，分区数只能增加不能减少；增加分区会改变key的路由，可能破坏原有顺序性，因此应在创建时规划好，避免后期频繁调整。

六、实践检查清单

主题与分区工程的核心在于权衡：分区数提升吞吐但增加开销并削弱跨分区顺序；副本提升可靠性但增加写入延迟和存储成本；保留策略控制成本但需匹配消费延迟。实际项目中，建议先用小规模压测确定单分区吞吐基线，再结合消费者并发和可靠性要求反推分区数与副本配置，最后通过监控ISR、磁盘使用和消费延迟持续验证。