2. Kafka 核心概念回顾：Topic、Partition、Consumer Group、Offset、消息持久化机制
在深入精算模型命中复盘之前，必须对齐 Kafka 的五大核心抽象。这些概念构成了实时数据管道的骨架，任何偏移量回溯、分区重平衡或数据一致性校验都建立在此基础之上。
2.1 Topic 与 Partition：逻辑容器与物理分片
Topic 是消息的逻辑分类，生产者将数据写入特定 Topic，消费者从该 Topic 读取。每个 Topic 可拆分为多个 Partition，Partition 是 Kafka 存储与并行度的基本单位。
| 概念 | 作用域 | 关键特征 | 精算场景意义 |
|---|---|---|---|
| Topic | 逻辑 | 多订阅者、多生产者；无状态路由 | 按险种/产品线隔离精算事件流 |
| Partition | 物理 | 有序追加、不可变日志；分区内严格顺序 | 保证同一保单号的事件顺序；水平扩展吞吐 |
| Replica | 冗余 | Leader-Follower 模型；ISR 机制 | 防止 Broker 宕机导致精算数据丢失 |
精算提示： 复盘时若发现某保单号的事件乱序，应优先检查生产者是否将同一 key（如 policy_id）路由到了不同 Partition。使用
keyed producer 确保相同 key 落入同一 Partition。
2.2 Consumer Group 与 Offset：消费进度管理
Consumer Group 是 Kafka 实现点对点与发布订阅两种模型的核心机制。组内消费者协同消费 Topic 的所有 Partition，每个 Partition 在同一时间只被组内的一个消费者实例持有。
- 点对点模式： 所有消费者属于同一 Group，每条消息只被一个消费者处理。适用于精算模型命中后的单次处理。
- 发布订阅模式： 每个消费者属于不同 Group，每条消息广播给所有 Group。适用于同时触发精算风控、数据湖归档、实时大屏。
Offset 是 Partition 内每条消息的唯一递增序号。消费者通过提交 Offset 来标记消费进度。Kafka 将 Offset 保存在内部 Topic __consumer_offsets 中。
| Offset 提交方式 | 语义 | 精算复盘风险 |
|---|---|---|
| 自动提交（enable.auto.commit=true） | 周期性提交，默认 5s | 消费者崩溃后可能重复消费或丢失消息，导致精算命中计数偏差 |
| 手动同步提交 | 处理完一批消息后调用 commitSync() | 吞吐下降，但保证“至少一次”语义，适合精算对账 |
| 手动异步提交 | 调用 commitAsync() + 回调 | 高吞吐，但回调失败可能丢失 Offset，需配合重试 |
| 指定 Offset 重置 | seek() 到任意 Offset | 精算复盘核心操作：回溯到历史时间点重新计算命中率 |
复盘避坑： 精算模型上线后若修改了命中逻辑，必须使用
consumer.seek() 将 Offset 重置到模型变更前的消息位置，否则新旧逻辑混算会导致命中率曲线出现“断崖”或“突增”。
2.3 消息持久化机制：日志段与刷盘策略
Kafka 不依赖内存缓存，而是将所有消息写入磁盘。其高性能来源于顺序 I/O 与零拷贝技术。持久化核心单元是 Log Segment：
- 每个 Partition 的日志目录下包含多个
.log、.index、.timeindex文件。 - 消息追加到当前活跃 Segment，达到阈值（如 1GB 或 7 天）后滚动生成新 Segment。
- 过期 Segment 根据保留策略（retention.ms / retention.bytes）被异步删除。
精算数据保留建议： 监管要求精算原始事件至少保留 3 年。建议设置
log.retention.ms=94608000000（3 年）或使用 Tiered Storage 将历史 Segment 卸载到对象存储（如 S3/MinIO），避免 Broker 磁盘爆满。
2.4 核心概念关系速查表
| 概念 | 一句话定义 | 精算复盘中的角色 |
|---|---|---|
| Topic | 消息的逻辑分类 | 按精算模型版本或险种隔离事件流 |
| Partition | 物理分片，并行度单元 | 决定复盘时消费者并发数；保证同 key 顺序 |
| Consumer Group | 消费者协作组 | 多实例并行回溯，避免重复计算 |
| Offset | 消息在 Partition 内的序号 | 回溯锚点；通过 seek() 实现时间点精确重算 |
| Log Segment | 磁盘上的消息文件块 | 决定数据保留时长与清理策略 |
实践检查清单：
✅ 精算 Topic 分区数是否 ≥ 消费者线程数？
✅ 是否关闭了自动提交以避免复盘时 Offset 漂移？
✅ 保留策略是否满足监管 3 年要求？
✅ 是否记录了每个模型版本的生效 Offset 范围？
✅ 精算 Topic 分区数是否 ≥ 消费者线程数？
✅ 是否关闭了自动提交以避免复盘时 Offset 漂移？
✅ 保留策略是否满足监管 3 年要求？
✅ 是否记录了每个模型版本的生效 Offset 范围？