📚 课程目录第2章 Kafka基础回顾

2. Kafka 基础回顾：Topic、Partition、Offset、Producer、Consumer 核心概念速览

在深入时间戳索引之前，必须对齐 Kafka 最核心的抽象模型。本章用最短路径梳理 Topic、Partition、Offset、Producer、Consumer 五个基础概念，为后续消息回溯与索引机制建立统一语境。

2.1 核心概念一览

概念	一句话定义	与时间戳索引的关系
Topic	消息的逻辑分类，类似数据库中的表	时间戳索引按 Topic 粒度独立管理
Partition	Topic 的分片，每个 Partition 是一个有序、不可变的日志文件	索引文件（.index / .timeindex）附着在每个 Partition 上
Offset	消息在 Partition 内的唯一顺序编号，从 0 开始递增	时间戳索引的最终目标是定位 Offset
Producer	向 Topic 发布消息的客户端	可指定消息时间戳，影响索引构建
Consumer	从 Topic 订阅并消费消息的客户端	通过时间戳索引实现按时间点回溯消费

关键认知：Kafka 的存储模型是“Partition 内有序，Topic 内无序”。所有索引、回溯、位移管理都基于 Partition 维度，跨 Partition 的时间排序需要外部协调。

2.2 Topic 与 Partition 的物理存储结构

每个 Partition 在磁盘上对应一个目录，命名规则为 <topic>-<partitionId>。目录内包含以下核心文件：

.log：消息数据文件，追加写入，达到 segment.bytes（默认 1GB）后滚动新文件。
.index：偏移量索引文件，映射 Offset → 物理文件位置。
.timeindex：时间戳索引文件，映射时间戳 → Offset（本课程核心关注对象）。

存储路径示例：

/data/kafka/topics/orders-0/
  ├── 00000000000000000000.log
  ├── 00000000000000000000.index
  ├── 00000000000000000000.timeindex
  ├── 00000000000000102400.log
  ├── 00000000000000102400.index
  └── 00000000000000102400.timeindex

2.3 Offset：消息的唯一顺序标识

Offset 是 Kafka 中最重要的元数据之一，理解其特性是掌握时间戳索引的前提：

单调递增：每个 Partition 内 Offset 从 0 开始，严格递增，永不回退。
分区独立：不同 Partition 的 Offset 相互独立，不可跨分区比较。
消费进度标记：Consumer 通过提交 Offset 记录消费位置，实现断点续传。
索引键：时间戳索引的最终输出就是目标 Offset，Consumer 拿到 Offset 后直接定位消息。

常见误区：Offset 不是全局唯一的。如果 Topic 有 3 个 Partition，每个 Partition 都有 Offset 0、1、2…… 消费时需指定 Topic + Partition + Offset 三元组才能唯一定位一条消息。

2.4 Producer 与 Consumer 的角色对比

维度	Producer	Consumer
数据流向	写入数据到 Broker	从 Broker 拉取数据
时间戳控制	可自定义消息时间戳（`CreateTime`）或使用 Broker 时间（`LogAppendTime`）	通过时间戳索引指定回溯时间点
Offset 管理	不感知 Offset，由 Broker 分配	主动管理 Offset，可自动提交或手动提交
与索引的关系	消息写入时触发索引构建	消息读取时利用索引加速定位

2.5 消息写入与消费的完整流程

下图展示一条消息从 Producer 生产到 Consumer 消费的完整路径，重点标注时间戳索引的介入点：

2.6 本章小结

Topic 是逻辑容器，Partition 是物理存储单元，Offset 是分区内唯一序号。
每个 Partition 由多个 Segment 组成，每个 Segment 包含 .log、.index、.timeindex 三个文件。
Producer 写入时携带时间戳，触发 .timeindex 构建；Consumer 回溯时通过 .timeindex 快速定位 Offset。
时间戳索引的核心价值：将“按时间查消息”的复杂度从 O(n) 降低到 O(log n)。