4. Kafka 核心概念：Topic、Partition、Producer、Consumer、Broker、消息偏移量（Offset）

在精算模型实时命中复盘场景中，Kafka 作为事件流的骨干，其核心概念是理解数据如何被组织、传输和消费的基础。本节将逐一拆解这些概念，并结合精算业务场景进行说明。

4.1 核心概念全景图

下图展示了 Kafka 集群中六个核心组件之间的协作关系，以及一条精算事件（如“保单生效”）从产生到被消费的完整路径。

4.2 核心概念详解

概念	定义	精算复盘场景映射
Broker	Kafka 集群中的单个服务器节点，负责存储消息、处理请求。	生产环境通常部署 3 台 Broker 组成集群，保障精算事件不丢失。
Topic	消息的逻辑分类，类似于数据库中的表。生产者将消息发送到指定 Topic。	创建 actuary-model-hit-events Topic，专门存放模型命中事件。
Partition	Topic 的物理分片，每个 Partition 是一个有序、不可变的消息序列。	按保单号哈希分区，确保同一保单的事件顺序消费。
Offset	消息在 Partition 内的唯一整数序号，从 0 开始递增。用于定位消息。	复盘时通过 Offset 回溯指定位置的事件，实现精确重放。
Producer	消息生产者，负责将消息发布到指定的 Topic 和 Partition。	精算模型服务在命中规则后，立即作为 Producer 发送事件。
Consumer	消息消费者，从 Topic 的 Partition 拉取消息进行处理。	复盘分析服务作为 Consumer 订阅事件，进行实时或批量分析。

4.3 消息偏移量（Offset）的深度理解

Offset 是 Kafka 实现消息有序性和回溯能力的基础。每个 Partition 内部的消息都有一个唯一的 Offset，且严格递增。

4.3.1 Offset 的存储与提交

Consumer 需要记录自己消费到的 Offset 位置，以便在重启或故障恢复后继续消费。Kafka 提供了两种提交方式：

• 自动提交（enable.auto.commit=true）：Consumer 定期自动提交 Offset，简单但可能重复消费或丢失消息。
• 手动提交（enable.auto.commit=false）：业务代码在确认消息处理成功后，显式调用 commitSync() 或 commitAsync() 提交 Offset，精确控制语义。

4.4 Producer 与 Consumer 的工作机制

4.4.1 Producer 写入流程

1. 序列化：将精算事件对象（如 JSON）序列化为字节数组。
2. 分区选择：根据分区策略（如按保单号哈希）确定目标 Partition。
3. 批量发送：Producer 将消息暂存到缓冲区，达到批次大小或时间阈值后，一次性发送到 Broker。
4. 确认机制：根据 acks 配置（0/1/all）等待 Broker 确认，保证消息不丢失。

4.4.2 Consumer 消费流程

1. 订阅 Topic：Consumer 加入消费组，订阅 actuary-model-hit-events。
2. 分区分配：组协调器将 Partition 分配给组内各 Consumer 实例。
3. 拉取消息：Consumer 循环向 Broker 发送拉取请求，获取一批消息。
4. 处理与提交：处理消息（如写入复盘数据库），然后提交 Offset。

4.5 关键配置对比

角色	配置项	推荐值（精算场景）	说明
Producer	acks	all	等待所有副本确认，最大程度保证事件不丢失。
Producer	retries	3	发送失败时重试，应对网络抖动。
Consumer	enable.auto.commit	false	手动提交，精确控制消费进度。
Consumer	auto.offset.reset	earliest	新消费者从最早消息开始消费，适合复盘全量数据。
Topic	replication.factor	3	副本数 3，容忍 2 台 Broker 故障。
Topic	partitions	6	分区数建议为 Consumer 实例数的整数倍，便于负载均衡。

4.6 精算场景中的 Offset 回溯示例

假设复盘分析服务需要重新处理 2025-03-15 10:00:00 至 10:30:00 之间的所有命中事件，可以通过以下步骤实现：

1. 查询该时间段内每个 Partition 对应的 Offset 范围。
2. 调用 consumer.seek(topicPartition, offset) 将 Consumer 的 Offset 定位到起始位置。
3. 启动消费，处理该范围内的所有消息。

4.7 本章小结