2. Kafka 基础回顾：Topic、Partition、Producer、Consumer、Broker 核心概念与架构图

在构建组合风险归因训练数据流之前，必须牢固掌握 Kafka 的五大核心抽象。这些概念构成了数据管道的基础骨架，理解它们之间的协作关系，是后续设计高吞吐、低延迟风险数据流的前提。

2.1 核心概念速览

2.2 架构总览：消息流转路径

下图展示了 Producer 如何将消息写入 Broker 集群的指定 Topic，以及 Consumer 如何从 Partition 中拉取数据进行处理。这是理解后续训练数据流构建的起点。

2.3 核心组件详解

2.3.1 Broker：集群的基石

• 身份标识： 每个 Broker 拥有唯一 ID，通过 ZooKeeper 或 KRaft 进行集群协调。
• 存储职责： 负责管理本节点上的 Partition 副本，处理读写请求。
• 高可用： 通过副本机制（Replication Factor）确保单点故障时数据不丢失。

2.3.2 Topic 与 Partition：逻辑与物理的分离

• Topic 命名规范： 在风险归因项目中，建议采用 <域>.<实体>.<动作> 格式，例如 risk.portfolio.valuation。
• Partition 数量规划： 直接影响消费并行度。一般建议 Partition 数 ≥ Consumer 组内最大并发数。
• 分区策略： 默认采用轮询（Round-Robin）；风险场景常用 Key 哈希分区，确保同一投资组合 ID 的消息进入同一 Partition。

2.3.3 Producer：消息的发送者

• 确认机制（acks）：
  • acks=0：不等待确认，吞吐最高但可能丢数据。
  • acks=1：等待 Leader 确认，平衡性能与可靠性。
  • acks=all：等待所有副本确认，最安全但延迟最高。
• 重试与幂等： 启用 enable.idempotence=true 防止消息重复，对风险数据至关重要。

2.3.4 Consumer 与 Consumer Group：消息的消费者

• 消费模式： 采用 拉取（Pull） 模式，Consumer 主动从 Broker 拉取数据，避免推送模式下的背压问题。
• 位移管理： 通过 __consumer_offsets 内部 Topic 记录消费进度，支持自动提交和手动提交。
• 再均衡（Rebalance）： 当 Consumer 加入或离开组时，触发分区重新分配，期间消费会短暂暂停。

2.4 关键参数对比：Producer 与 Consumer

2.5 消息写入与消费的代码骨架

以下代码片段展示了 Producer 发送风险事件和 Consumer 消费消息的标准模式，后续章节将在此基础上扩展为完整的训练数据流。

// Producer 端：发送组合快照数据
Properties props = new Properties();
props.put("bootstrap.servers", "broker1:9092,broker2:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("acks", "all");
props.put("enable.idempotence", "true");

KafkaProducer<String, String> producer = new KafkaProducer<>(props);

// 使用投资组合ID作为Key，确保同一组合的消息进入同一Partition
ProducerRecord<String, String> record = 
    new ProducerRecord<>("risk.portfolio.snapshot", "portfolio_001", jsonPayload);
producer.send(record, (metadata, exception) -> {
    if (exception == null) {
        System.out.println("发送成功: partition=" + metadata.partition() + 
                           ", offset=" + metadata.offset());
    }
});
producer.close();

// Consumer 端：消费组合快照数据
Properties props = new Properties();
props.put("bootstrap.servers", "broker1:9092,broker2:9092");
props.put("group.id", "risk-training-consumer");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("enable.auto.commit", "false");
props.put("max.poll.records", "500");

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Arrays.asList("risk.portfolio.snapshot"));

try {
    while (true) {
        ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(1000));
        for (ConsumerRecord<String, String> record : records) {
            // 处理风险归因数据
            processRiskRecord(record.key(), record.value());
        }
        // 手动提交偏移量，确保处理完成后再提交
        consumer.commitSync();
    }
} finally {
    consumer.close();
}

2.6 本章小结

• Broker 是集群节点，Topic 是消息分类，Partition 是并行单元。
• Producer 负责写入，Consumer 负责拉取处理，两者通过 Broker 解耦。
• 风险归因场景下，合理设置 Key 分区策略 和 确认机制 是保证数据一致性与时序性的关键。
• 掌握这些基础概念后，下一章将进入实战：设计风险归因训练数据流的 Topic 模型与分区策略。