3. Kafka 核心概念回顾：Topic、Partition、Producer、Consumer、Consumer Group 在回测场景中的角色

在进入回测标签口径校准的具体实现之前，有必要重新审视 Kafka 的五大核心概念，并明确它们在回测数据管道中的具体映射。回测场景对数据的有序性、可重放性和并行消费有严格要求，理解这些概念的角色是构建可靠校准系统的基础。

3.1 核心概念与回测角色对照表

3.2 Topic 与 Partition：回测数据的组织与并行基础

在回测标签口径校准中，Topic 是数据流的逻辑容器。一个典型的回测系统可能包含以下 Topic：

• backtest.tick：存储逐笔成交数据，按标的代码分区。
• backtest.snapshot：存储快照数据，按时间窗口分区。
• backtest.label.raw：存储原始标签计算结果。
• backtest.label.calibrated：存储口径校准后的标签。

Partition 是 Topic 的物理分片，也是回测并行化的基石。每个 Partition 内部保证消息的顺序，不同 Partition 之间可以并行消费。在回测场景中，分区策略通常与业务键绑定：

// 按标的代码分区，确保同一标的的时序数据进入同一分区
ProducerRecord<String, Tick> record = new ProducerRecord<>(
    "backtest.tick",           // Topic
    tick.getSymbol(),          // 分区键：标的代码
    tick                       // 消息体
);

3.3 Producer：回测数据源的写入规范

回测场景中的 Producer 通常由数据回放模块或策略信号生成器扮演。与生产环境不同，回测 Producer 更关注数据完整性和时间戳精度：

• 幂等性开启：enable.idempotence=true，防止回测数据重放时产生重复消息。
• acks=all：确保消息写入所有副本，避免数据丢失导致校准偏差。
• 自定义时间戳：使用回测时间戳而非系统时间，保证时序一致性。

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.ByteArraySerializer");
props.put("enable.idempotence", "true");
props.put("acks", "all");

// 回测 Producer 使用自定义时间戳
props.put("message.timestamp.type", "CREATE_TIME");

3.4 Consumer 与 Consumer Group：回测引擎的并行消费模型

Consumer 是回测引擎的核心执行单元。每个 Consumer 实例负责从分配到的 Partition 中拉取消息，并执行标签计算或校准逻辑。

Consumer Group 实现了回测任务的水平扩展。组内的多个 Consumer 共同订阅一个 Topic，Kafka 自动将 Topic 的 Partition 分配给组内成员。这种模型天然适配回测场景中的“多标的并行回测”需求。

3.5 回测场景核心概念关系图

下图展示了 Producer、Topic、Partition、Consumer Group 和 Consumer 在回测标签校准中的协作关系：

3.6 回测场景中的分区分配与再均衡

当回测任务启动或消费者数量变化时，Kafka 会触发分区再均衡（Rebalance）。在回测场景中，再均衡可能导致部分标的的回测进度中断，因此需要特别注意：

• 静态消费组：使用 group.instance.id 固定消费者成员，避免频繁再均衡。
• 合作式再均衡：使用 CooperativeStickyAssignor，只暂停受影响的分区，减少回测中断范围。
• 再均衡监听器：在 onPartitionsRevoked 中提交当前偏移量，确保进度不丢失。

// 合作式再均衡配置示例
props.put("partition.assignment.strategy", 
    "org.apache.kafka.clients.consumer.CooperativeStickyAssignor");

// 再均衡监听器
consumer.subscribe(Arrays.asList("backtest.tick"), new ConsumerRebalanceListener() {
    @Override
    public void onPartitionsRevoked(Collection<TopicPartition> partitions) {
        // 提交当前偏移量，防止重复消费
        consumer.commitSync();
        System.out.println("分区被回收，已提交偏移量: " + partitions);
    }
    
    @Override
    public void onPartitionsAssigned(Collection<TopicPartition> partitions) {
        System.out.println("新分配分区: " + partitions);
    }
});

3.7 回测场景概念对比：Kafka 原生角色 vs 回测映射