1. 课程导论：Loki日志系统概述、发布准入场景定义、Agent在日志采集中的核心角色
1.1 为什么需要重新审视日志采集架构
在云原生与微服务架构大规模普及的今天，日志系统早已不再是“写文件、拖尾查看”的简单工具。当发布频率从周级提升到分钟级，当单集群 Pod 数量突破千级别，日志采集的稳定性与资源消耗直接决定了 SRE 团队的故障排查效率与基础设施成本。
本课程聚焦于 Loki 日志系统在 发布准入 这一关键场景下的 Agent 部署策略与资源优化方法。我们将从架构原理出发，逐步深入到 Agent 的内存、CPU、网络带宽调优，最终形成一套可落地、可度量的最佳实践。
核心观点： 日志采集不是“能采就行”，而是要在发布变更的混沌中，做到“采得全、采得稳、采得省”。
1.2 Loki 日志系统概述
Loki 是 Grafana Labs 开源的水平可扩展、高可用、多租户的日志聚合系统，受 Prometheus 启发而设计。其核心设计哲学是：仅对日志内容进行索引，而非全文索引，从而大幅降低存储成本与查询延迟。
| 特性 | Loki | ELK (Elasticsearch) |
|---|---|---|
| 索引策略 | 仅索引标签（Label），日志内容不索引 | 全文索引（倒排索引） |
| 存储成本 | 低（对象存储为主） | 高（需要大量 SSD/HDD） |
| 查询语言 | LogQL（类 PromQL 语法） | DSL（JSON 查询体） |
| Agent 生态 | Promtail（官方）、Fluent Bit、Vector 等 | Filebeat、Logstash、Fluentd 等 |
| 典型场景 | Kubernetes 环境、云原生可观测性 | 传统运维、复杂全文搜索 |
Loki 的架构由 Distributor（分发器）、Ingester（写入器）、Querier（查询器）和 Compactor（压缩器）等组件构成。Agent 将日志推送到 Distributor，最终持久化到对象存储（如 S3、GCS、MinIO）。
1.3 发布准入场景定义
发布准入（Release Admission） 是指在应用发布、滚动更新、扩缩容或配置变更期间，系统自动执行的一系列验证与准入控制动作。在日志采集的语境下，发布准入场景具有以下鲜明特征：
- Pod 生命周期剧烈波动： 短时间内大量 Pod 创建、销毁、重启，Agent 需要动态发现并跟随。
- 日志源临时中断与恢复： 容器文件、stdout 流可能因 Pod 迁移而短暂不可用。
- 资源争抢加剧： 发布期间 CPU 和内存压力上升，Agent 必须“让路”给业务容器，同时保证关键日志不丢失。
- 标签与元数据变更： 新版本可能携带不同的 Label、Annotation，Agent 需要正确提取并关联。
常见误区： 很多团队在发布期间发现日志“断流”或“重复”，第一反应是排查 Loki 服务端，但根因往往是 Agent 在发布准入阶段的配置未做适配。
1.4 Agent 在日志采集中的核心角色
在 Loki 生态中，Agent 是日志采集的“最后一公里”执行者。它运行在每一个 Kubernetes 节点上（通常以 DaemonSet 形式部署），负责：
- 发现日志源： 监听 Kubernetes API，动态获取 Pod 与容器元数据，确定需要采集的日志路径。
- 提取与处理： 读取日志文件或 stdout/stderr 流，支持多行合并、正则解析、时间戳提取、标签注入等。
- 可靠传输： 将处理后的日志条目分批、压缩、推送到 Loki Distributor，支持重试与背压机制。
- 资源自控： 在发布准入等高压场景下，主动降级或限流，保障节点稳定性。
| Agent 名称 | 语言 | 资源占用 | 适用场景 |
|---|---|---|---|
| Promtail | Go | 中等 | 原生 Loki 集成、Kubernetes 环境、功能全面 |
| Fluent Bit | C | 低 | 高性能、边缘设备、资源敏感场景 |
| Vector | Rust | 低 | 多输出、复杂管道、可观测性数据融合 |
选型建议： 本课程以 Promtail 为主要讲解对象，因为它是 Loki 官方 Agent，与 Loki 的标签模型、服务发现、重试机制配合最紧密。但课程中涉及的资源优化方法论（如内存限制、批次调优、背压控制）同样适用于 Fluent Bit 和 Vector。
1.5 本章小结
通过本章导论，我们明确了：
- Loki 通过“标签索引+对象存储”实现低成本日志聚合，适合云原生环境。
- 发布准入场景是日志采集的“压力测试场”，Pod 频繁创建销毁、资源争抢、标签变更等问题必须提前设计。
- Agent 是日志采集的核心执行者，其发现、处理、传输、自控能力直接决定日志管道的可靠性。