2. Kafka 日志存储结构：Topic 与 Partition、Segment 文件、Log 与 Offset 的关系
Kafka 的日志存储结构是理解其高性能读写与数据可靠性的基石。消息在 Kafka 中并非直接以“文件”形式散落存储，而是经过 Topic → Partition → Segment → Log 四层逻辑与物理结构的映射。理解这一层级关系，是后续进行索引复盘与慢查询分析的前提。
2.1 逻辑结构：Topic 与 Partition
Topic（主题）是消息的逻辑分类，一个 Topic 可被拆分为多个 Partition（分区）。Partition 是 Kafka 并行处理与水平扩展的最小单位，每个 Partition 在物理上对应一个独立的目录。
| 概念 | 层级 | 说明 | 物理表现 |
|---|---|---|---|
| Topic | 逻辑容器 | 消息的分类标签，如“订单事件” | 无独立物理文件 |
| Partition | 物理分片 | Topic 内的有序分区，每个 Partition 内消息有序 | 独立目录：topic-0/, topic-1/ |
| Replica | 冗余副本 | Partition 的副本，保证高可用 | 与 Leader Partition 同目录 |
2.2 物理结构：Segment 文件
每个 Partition 目录下，日志被进一步切分为多个 Segment（段）。Segment 是 Kafka 日志存储的最小物理文件单元，由三个核心文件组成：
- .log 文件：存储消息的原始数据（消息体、Key、Headers、时间戳等）。
- .index 文件：偏移量索引，将相对偏移量映射到 .log 文件中的物理位置（字节偏移）。
- .timeindex 文件：时间戳索引，将消息时间戳映射到相对偏移量。
Segment 的命名规则：以该 Segment 中第一条消息的绝对偏移量（Offset）命名，不足 20 位左补 0。例如：00000000000000000000.log 表示第一个 Segment。
log.segment.bytes 控制）。当 Segment 写满或超过 log.roll.ms 时间后，Kafka 会关闭当前 Segment 并创建新的 Segment。Segment 数量过多会导致文件句柄膨胀与索引碎片化，是慢查询的常见诱因。
2.3 Log 对象与 Offset 的关系
在 Kafka 服务端（Broker）的代码层面，每个 Partition 对应一个 Log 对象。Log 对象管理该 Partition 下的所有 Segment，并提供消息写入与读取的接口。Offset（偏移量）是消息在 Partition 内的唯一顺序标识，具有以下特性：
- 单调递增：每个 Partition 内 Offset 严格递增，不会回退。
- 分段映射：Offset 到物理位置的映射通过 Segment 的 .index 文件实现。查询时先定位 Segment（二分查找 Segment 的基准 Offset），再在 .index 中查找相对偏移量。
- 绝对 Offset vs 相对 Offset：.index 文件存储的是相对偏移量（相对于 Segment 起始 Offset 的差值），以节省存储空间。
log.retention.bytes 或 log.retention.hours 是否设置过小，导致 Segment 频繁滚动。
2.4 索引文件结构详解
.index 文件采用 稀疏索引 设计，并非为每条消息都建立索引，而是每隔一定字节数（由 log.index.interval.bytes 控制，默认 4096 字节）记录一条索引条目。每个索引条目固定 8 字节：
- 前 4 字节：相对偏移量（Relative Offset）
- 后 4 字节：物理位置（Position，即 .log 文件中的字节偏移）
这种设计大幅减少了索引文件的大小，但查找时需要先通过二分查找定位最近的索引条目，再在 .log 文件中进行顺序扫描找到目标消息。
2.5 关键参数与性能影响
| 参数 | 默认值 | 作用 | 对慢查询的影响 |
|---|---|---|---|
log.segment.bytes |
1073741824 (1GB) | 单个 Segment 的最大大小 | 值过小 → Segment 数量过多 → 索引查找变慢 |
log.index.interval.bytes |
4096 | 索引条目之间的间隔字节数 | 值过大 → 索引稀疏 → 顺序扫描范围变大 |
log.index.size.max.bytes |
10485760 (10MB) | 单个 .index 文件的最大大小 | 值过小 → 索引条目不足 → 查找退化为全扫描 |
log.retention.hours |
168 (7天) | 日志保留时间 | 值过大 → 历史 Segment 堆积 → 文件句柄压力 |
log.segment.bytes 与 log.index.interval.bytes 的配置是否合理。对于高吞吐 Topic，适当增大 log.segment.bytes 至 2GB 可减少 Segment 数量，降低索引查找的二分深度。
2.6 总结：Log 与 Offset 的映射关系
将上述内容归纳为一条核心链路：
Topic → Partition → Log 对象 → Segment 列表
↓
Consumer 请求 Offset = 12345
↓
Log 对象二分查找 Segment（基准 Offset ≤ 12345 的最大值）
↓
加载该 Segment 的 .index 文件
↓
二分查找相对偏移量（12345 - Segment 基准 Offset）
↓
获取物理位置 Position
↓
从 .log 文件的 Position 处读取消息