2. Kafka 核心概念回顾：Topic、Partition、Producer、Consumer、Broker、Offset、Consumer Group

在深入实时特征缺失检测之前，必须牢固掌握 Kafka 的七个核心概念。它们是构建任何可靠数据管道的基础，也是后续实现“检测-告警-补偿”闭环的底层通信语言。下面逐一拆解每个概念的角色与协作关系。

2.1 概念总览与角色定义

下表从“是什么”和“做什么”两个维度快速对齐七个核心术语：

2.2 核心架构关系：一张图看懂数据流

下图展示了 Producer 如何将特征数据写入 Broker 集群的 Topic，以及 Consumer Group 如何协同消费 Partition 中的消息。箭头方向代表数据流与偏移量管理路径。

2.3 深入理解 Offset：检测进度的“书签”

Offset 是 Kafka 中极易被忽视但极其重要的概念。在特征缺失检测中，Offset 承担了三个关键职责：

• 断点续检： 检测服务重启后，从上次提交的 Offset 继续消费，不会重复检测已处理过的特征数据。
• 时间回溯： 通过重置 Offset 到指定位置（如 2 小时前），可以重新检测历史窗口内的特征缺失情况。
• 延迟监控： 比较 Producer 写入的最新 Offset 与 Consumer 当前消费的 Offset，可以精确计算特征数据的端到端延迟。

// 示例：在 Java Consumer 中手动提交 Offset
consumer.commitSync();  // 同步提交，确保检测进度不丢失

// 示例：重置 Offset 到指定 Partition 的起始位置
consumer.seekToBeginning(Collections.singletonList(partitionInfo));

2.4 Consumer Group 的再平衡机制

当 Consumer Group 中的成员发生变化（新增、故障、超时）时，Kafka 会触发 Rebalance 操作，重新分配 Partition 与 Consumer 的对应关系。这对特征缺失检测的影响需要特别关注：

2.5 核心概念协作流程：从生产到检测

下面这张时序图展示了 Producer、Broker、Consumer Group 和 Offset 在特征缺失检测中的完整协作流程：

2.6 常见误区与避坑指南

• 误区一： 认为 Topic 是“队列”，消息消费后即删除。实际上 Kafka 基于日志存储，消息在保留期内（如 7 天）一直存在，Consumer 可以通过 Offset 回溯重新消费。
• 误区二： 将 Consumer Group 中的 Consumer 数量随意设置为大于 Partition 数。多余的 Consumer 会闲置，浪费资源且不会提升吞吐。
• 误区三： 忽略 Offset 提交的语义。自动提交（enable.auto.commit=true）可能导致检测进度丢失，在特征缺失检测场景中建议使用手动提交。
• 误区四： 认为所有 Partition 的 Offset 是全局唯一的。Offset 只在所属 Partition 内唯一，不同 Partition 的 Offset 相互独立。