1. 课程导论：多租户场景下的日志挑战、Fluent Bit 核心优势、课程目标与学习路径
1.1 多租户日志场景的核心挑战
在 SaaS 平台、容器化微服务、边缘计算及企业级云原生架构中，多租户已成为基础设施的默认模式。每个租户（团队、项目、客户或业务线）产生独立的日志流，但共享同一套日志采集管道。这种架构带来了四个必须解决的工程难题：
| 挑战维度 | 具体问题 | 后果 |
|---|---|---|
| 数据隔离 | 租户 A 的敏感日志（如支付流水）与租户 B 的调试日志混合写入同一存储后端 | 合规风险、数据泄露、检索效率低下 |
| 路由混乱 | 所有日志通过单一 Agent 采集，无法按租户标识分发到不同的 Kafka Topic、S3 桶或 Elasticsearch 索引 | 下游系统需要二次解析，增加延迟与复杂度 |
| 资源争抢 | 高流量租户（如生产环境）挤占低流量租户（如开发环境）的采集带宽与内存 | 关键日志丢失、采集延迟飙升 |
| 配置爆炸 | 为每个租户部署独立的 Agent 实例，导致运维成本线性增长 | 配置管理失控、版本碎片化、升级困难 |
关键洞察： 多租户日志路由的本质不是“采集更多日志”，而是“在采集点完成精准的标签化分发”，避免将租户识别压力传导至下游存储或分析层。
1.2 Fluent Bit 的核心优势
Fluent Bit 作为 CNCF 毕业级项目，在解决上述挑战时具备不可替代的架构优势。以下从四个维度对比其与传统日志采集器的差异：
| 能力维度 | 传统采集器（如 Logstash/Filebeat） | Fluent Bit |
|---|---|---|
| 资源占用 | 内存常驻 100MB+，CPU 开销高 | 内存常驻 < 5MB，CPU 极低，适合边缘与 Sidecar 模式 |
| 标签路由 | 依赖外部处理器或硬编码正则 | 内置 @label 与 Tag 引擎，支持动态重写与匹配 |
| 多输出 | 单实例通常绑定单一输出 | 原生支持多输出并行，通过标签规则实现租户级分发 |
| 插件生态 | 插件体积大，依赖重 | 轻量级 C 插件 + Lua 扩展，热加载配置 |
Fluent Bit 的 Tag 引擎 是其多租户能力的核心。每个日志事件在输入阶段被赋予一个标签（如 kube.tenant-a.app），随后通过 Tag 匹配规则路由到不同的输出插件。这种设计使得一个 Fluent Bit 实例可以同时服务数百个租户，而无需修改采集器本身。
1.3 课程目标
完成本课程后，你将具备以下能力：
- 设计多租户标签体系： 根据业务场景（Kubernetes 命名空间、云账号、项目 ID）设计可扩展的 Tag 命名规范。
- 配置标签路由规则： 使用 Fluent Bit 的
Tag匹配、@label重定向及Rewrite Tag插件实现动态路由。 - 部署多输出拓扑： 为不同租户配置 Elasticsearch、Kafka、S3、Loki 等输出插件，并设置独立的缓冲与重试策略。
- 实施租户级资源隔离： 通过 Fluent Bit 的
storage层与scheduler参数，防止租户间资源抢占。 - 监控与排障： 利用内置指标、日志追踪及
fluent-bit-tail工具诊断路由异常。
适用人群： 本课程面向 SRE、平台工程师、DevOps 及日志架构师。建议具备 Fluent Bit 基础安装与配置经验，但非必需——每章均提供可复用的配置模板。
1.4 学习路径与章节结构
课程共 30 章，分为四个阶段，建议按顺序学习：
| 阶段 | 章节范围 | 核心内容 | 产出物 |
|---|---|---|---|
| 基础篇 | 第 1-8 章 | 多租户概念、标签引擎原理、输入/输出/过滤插件基础 | 单实例多租户 Demo 配置 |
| 路由篇 | 第 9-16 章 | Tag 匹配语法、Rewrite Tag、Lua 动态路由、条件过滤 | 动态标签路由 Pipeline |
| 输出篇 | 第 17-24 章 | ES/Kafka/S3/Loki 多输出配置、缓冲与重试隔离 | 生产级多输出拓扑 |
| 进阶篇 | 第 25-30 章 | 资源隔离、监控告警、性能调优、故障演练 | 可观测性 Dashboard + 运维手册 |
1.5 环境准备与前置知识
为获得最佳学习体验，请确保以下环境就绪：
- Fluent Bit 版本： 2.1 及以上（推荐 2.2+，支持
Rewrite Tag增强语法）。 - 运行环境： Linux 或 macOS（Windows 可通过 WSL2 支持）。
- 可选依赖： Docker（用于快速启动测试输出端，如 Elasticsearch、Kafka）。
- 基础概念： 了解日志采集基本流程（Input → Parser → Filter → Output）。
注意： 本课程所有配置均以
fluent-bit.conf 或 yaml 格式提供。如果你使用 Fluentd，请注意语法差异——Fluent Bit 的配置更简洁，且不支持 match 嵌套。