2. Kafka 基础回顾：核心概念与精算集成
在构建精算模型规则命中实时监控系统之前，必须牢固掌握 Kafka 的核心抽象及其在实时数据流中的定位。本章将系统梳理 Topic、Partition、Consumer Group 三大基石，明确 Kafka 在数据管道中的角色，并展示其与精算系统的典型集成模式。
2.1 Kafka 核心概念
Kafka 是一个分布式、分区化、多副本的发布-订阅消息系统。理解以下三个概念是使用 Kafka 的前提：
| 概念 | 定义 | 精算场景中的类比 |
|---|---|---|
| Topic（主题） | 消息的逻辑分类。生产者将消息写入 Topic，消费者从 Topic 读取消息。 | 相当于“精算规则命中事件”的通道，所有规则命中记录都发往同一个 Topic。 |
| Partition（分区） | Topic 的物理分片。每个 Partition 是一个有序、不可变的消息序列，通过偏移量（Offset）定位。 | 按“险种”或“区域”将规则命中事件分散到不同分区，实现并行处理与水平扩展。 |
| Consumer Group（消费者组） | 一组消费者的逻辑集合。组内每个消费者负责处理不同分区的消息，实现负载均衡与容错。 | 精算实时计算集群作为一个 Consumer Group，共同消费规则命中事件，单点故障不影响整体消费。 |
关键原则： 同一 Consumer Group 下，一个 Partition 只能被一个消费者实例消费；不同 Consumer Group 可以独立消费同一 Topic，实现“发布-订阅”与“点对点”两种模式并存。
2.2 Kafka 在实时数据流中的定位
在精算实时监控架构中，Kafka 扮演着 数据中枢 的角色。它位于业务系统与实时计算引擎之间，承担以下职责：
- 解耦： 精算规则引擎（生产者）与实时监控应用（消费者）通过 Kafka 隔离，互不影响。
- 缓冲： 应对流量突发，Kafka 的高吞吐磁盘顺序写入能力可吸收峰值，防止下游系统崩溃。
- 持久化： 规则命中事件默认保留一段时间（如 7 天），支持回溯分析与故障恢复。
- 顺序保证： 同一 Partition 内消息严格有序，精算规则按时间线命中的场景可依赖此特性。
2.3 Kafka 与精算系统的集成方式
精算系统与 Kafka 的集成通常采用 生产者-消费者 模式，具体分为以下三个环节：
- 规则命中事件生产： 精算规则引擎在每次规则命中后，将事件序列化为 JSON 或 Avro 格式，通过 Kafka Producer API 发送至指定 Topic。
- 事件路由与分区： 根据业务键（如保单号、客户 ID）计算分区，确保同一实体的所有事件进入同一 Partition，保证顺序性。
- 实时消费与监控： 监控应用以 Consumer Group 方式订阅 Topic，并行处理各分区消息，更新实时指标并触发告警。
最佳实践： 精算事件建议使用 Avro 格式并配合 Schema Registry，确保生产者和消费者之间的数据契约一致，避免字段变更导致消费失败。
常见陷阱： 如果 Consumer Group 内的消费者数量超过 Partition 数量，多余的消费者将处于空闲状态，不会分配到任何分区。设计时需确保消费者数 ≤ 分区数，以充分利用并行能力。