4. Loki 数据模型：流、标签、时间戳、日志行、索引与块存储原理

Loki 的数据模型是其高效存储与查询海量日志的核心基础。与 Elasticsearch 等全文索引系统不同，Loki 的设计哲学是“仅索引元数据，不索引日志内容”，从而大幅降低存储成本与写入延迟。理解其数据模型，是开发蓝绿发布门禁日志查询接口的前提。

4.1 核心数据单元：日志行与时间戳

Loki 存储的最小数据单元是日志行（Log Line），每条日志行都附带一个纳秒级时间戳（Timestamp）。日志行是原始文本，Loki 不会对其内容进行分词或倒排索引。

4.2 流（Stream）与标签（Label）

流（Stream）是 Loki 中日志组织的核心逻辑单元。一组具有完全相同标签（Label）组合的日志行，构成一个独立的流。标签是键值对，用于标识日志的来源、环境、服务等元信息。

• 标签（Label）：键值对，如 app="gateway"、env="production"、deploy="blue"。
• 流（Stream）：由一组固定标签唯一标识。例如，{app="gateway", env="production", deploy="blue"} 是一个流，{app="gateway", env="production", deploy="green"} 是另一个流。
• 基数（Cardinality）：标签值的组合数量。高基数（如将用户 ID 作为标签）会导致性能严重下降。

# 推荐标签组合
app="order-service"        # 服务名
env="staging"              # 环境
deploy="blue"              # 蓝绿标识
version="v2.1.0"           # 版本号
cluster="k8s-prod-01"      # 集群

4.3 索引（Index）与块（Chunk）存储原理

Loki 将日志数据分为两个存储层面：索引（Index）和块（Chunk）。这种分离架构是其高性能与低成本的关键。

4.4 索引与块的关键特性对比

4.5 数据写入与查询流程

理解数据模型后，再看一条日志从采集到可查询的完整路径：

1. 采集器推送：Promtail 或其他采集器将日志行与标签集推送到 Loki 的 Distributor 组件。
2. 流哈希与分发：Distributor 根据标签集计算哈希值，将日志行路由到对应的 Ingester 实例。
3. Ingester 构建块：Ingester 将同一流（相同标签集）的日志行按时间顺序追加到内存中的块（Chunk）。当块达到一定大小或时间阈值时，将其压缩并刷新到对象存储。
4. 索引更新：Ingester 同时将标签集与块元数据写入索引存储（BoltDB/TSDB）。
5. 查询器检索：Querier 接收 LogQL 查询，先通过索引找到匹配的块，再从对象存储中读取块内容，解压并过滤日志行。

4.6 蓝绿发布场景中的数据模型应用

在蓝绿发布门禁系统中，数据模型直接影响查询效率：

• 流隔离：通过 deploy="blue" 和 deploy="green" 标签，将蓝绿环境的日志完全隔离到不同流中，避免数据混淆。
• 快速定位：门禁查询时，先通过标签 {app="order-service", deploy="blue"} 在索引中定位到少量块，再扫描这些块内的日志行，避免全量扫描。
• 时间范围裁剪：索引中存储了每个块的时间范围，查询时指定 start 和 end 参数，可进一步缩小需要扫描的块数量。
• 避免高基数：不要将请求 ID、用户 ID 等高频变化的值作为标签，否则会导致索引膨胀和性能下降。应使用 label 过滤，用 line filter 搜索内容。

4.7 本章小结