4. Kafka 索引机制：日志分段与索引文件结构

Kafka 通过 日志分段（LogSegment） 与 两级索引（偏移量索引、时间戳索引）实现高效的消息定位。理解这些文件结构是进行性能调优和故障排查的基础。

4.1 日志分段（LogSegment）

Kafka 的每个分区（Partition）在磁盘上对应一个 日志目录。该目录下包含多个 日志分段（LogSegment），每个 Segment 由一组物理文件组成：

文件名中的数字代表该 Segment 的 起始偏移量（BaseOffset）。Kafka 会定期或根据大小滚动生成新的 Segment，滚动条件由 log.segment.bytes（默认 1GB）和 log.roll.ms 控制。

4.2 偏移量索引（OffsetIndex）文件结构

偏移量索引是一个 稀疏索引，用于将 相对偏移量 快速映射到日志文件中的 物理位置（Position）。其内部结构为固定大小的条目：

// 每个条目 8 字节
// 前 4 字节：相对偏移量（relativeOffset，相对于 BaseOffset 的差值）
// 后 4 字节：物理位置（position，在 .log 文件中的字节偏移）

示例（十六进制）：
00 00 00 00  00 00 00 00    // 相对偏移 0 → 位置 0
00 00 00 01  00 00 00 50    // 相对偏移 1 → 位置 80
00 00 00 03  00 00 01 2C    // 相对偏移 3 → 位置 300

索引条目并非为每条消息都创建，而是 按间隔写入（由 log.index.interval.bytes 控制，默认 4096 字节）。这种稀疏设计大幅减少了索引文件大小和内存占用。

4.3 时间戳索引（TimeIndex）文件结构

时间戳索引用于支持 按时间戳查找消息（如 --from-beginning 或指定时间戳消费）。其条目结构如下：

// 每个条目 12 字节
// 前 8 字节：时间戳（timestamp，毫秒级 Unix 时间戳）
// 后 4 字节：相对偏移量（relativeOffset，对应 OffsetIndex 中的相对偏移）

示例（十六进制）：
00 00 01 7A 5B 4C 80  00 00 00 00    // 时间戳 1620000000000 → 相对偏移 0
00 00 01 7A 5B 4C 90  00 00 00 01    // 时间戳 1620000000016 → 相对偏移 1
00 00 01 7A 5B 4C A0  00 00 00 03    // 时间戳 1620000000032 → 相对偏移 3

时间戳索引与偏移量索引 一一对应：每个时间戳条目都指向偏移量索引中的某个条目，从而形成 时间戳 → 偏移量 → 物理位置 的两级查找链。

4.4 两级索引查找流程

下图展示了从时间戳或偏移量到实际消息数据的完整查找路径：

4.5 索引文件配置参数

以下参数直接影响索引的精度、内存占用和写入性能：

4.6 索引文件与日志清理

Kafka 的日志清理策略（delete 或 compact）会同时作用于日志文件和索引文件：

• 基于时间的清理： 当 Segment 的最后修改时间超过 log.retention.ms 时，整个 Segment（包括 .log、.index、.timeindex）被删除。
• 基于大小的清理： 当分区日志总大小超过 log.retention.bytes 时，从最旧的 Segment 开始删除。
• 日志压缩（Compact）： 保留每个 Key 的最新消息，清理后重建索引文件。

索引文件在清理过程中会被 原子替换，确保不会出现索引与日志不一致的情况。

4.7 性能调优实战要点

1. 索引文件预分配： Kafka 在创建 Segment 时会预分配索引文件大小（由 log.index.size.max.bytes 决定），避免运行时频繁扩容。
2. 索引缓存： 操作系统会缓存最近访问的索引页，频繁的随机查找（如从头消费）会触发大量缺页中断，建议监控 kafka.log:type=LogFlushStats 指标。
3. Segment 数量监控： 通过 kafka.server:type=BrokerTopicMetrics,name=TotalIndexSize 观察索引总大小，若持续增长说明 Segment 滚动过慢或清理未生效。
4. 时间戳索引精度： 如果业务依赖精确的时间戳回溯（如精确到秒级），建议保持 log.index.interval.bytes 不超过 4096。