1. 课程导论：Fluent Bit 在可观测性中的角色、变更门禁的概念、数据传输优化的必要性、课程目标与学习路径

1.1 Fluent Bit 在可观测性中的核心角色

在云原生可观测性体系中，Fluent Bit 已成为数据采集与传输的事实标准。作为 CNCF 毕业项目，它承担着从容器、节点、微服务到后端存储之间的数据管道职责。其核心定位可概括为：

• 轻量级采集器：C 语言实现，内存常驻 450KB ~ 2MB，适合 Sidecar 模式或 DaemonSet 部署。
• 多源多目标：支持 40+ 输入插件（CPU、内存、日志、Kubernetes 事件、OTLP 等）和 30+ 输出插件（Elasticsearch、Prometheus、S3、Kafka 等）。
• 流水线处理引擎：内置 Parser、Filter、Lua 脚本、Record Modifier，可在传输途中完成数据清洗、格式转换、标签注入。
• 低延迟与高吞吐：单核可达 10 万条/秒的日志处理能力，延迟控制在毫秒级。

1.2 变更门禁的概念与工程意义

变更门禁（Change Gate） 是指在 CI/CD 流水线中设置的质量检查关卡，只有通过特定验证的数据或配置才能进入下一阶段。在可观测性场景中，变更门禁通常作用于以下三个层面：

引入变更门禁的核心收益在于：防止错误配置或异常数据进入生产环境，避免因日志管道故障导致的监控盲区、存储浪费或告警风暴。

1.3 数据传输优化的必要性

随着微服务数量和日志体量的指数级增长，Fluent Bit 在数据传输环节面临三大挑战：

1. 带宽与存储成本：原始日志中大量重复字段（如 Kubernetes Labels、容器元数据）导致传输冗余，压缩率不足时存储费用激增。
2. 延迟与背压：输出端（如 Elasticsearch、S3）写入瓶颈引发背压，导致 Fluent Bit 内存堆积、OOM 风险上升。
3. 数据质量退化：传输过程中字段丢失、时间戳偏移、编码错误等问题，直接影响下游告警与仪表盘准确性。

因此，数据传输优化 不仅是性能调优，更是保障可观测性数据可靠性的基础工程。

1.4 课程目标与学习路径

本课程旨在帮助学员掌握从 Fluent Bit 基础配置到变更门禁集成、再到传输优化与流水线自动化的完整技能栈。具体目标如下：

• 目标一：理解 Fluent Bit 流水线架构与核心插件机制，能独立编写生产级配置。
• 目标二：设计并实现变更门禁规则，将 Fluent Bit 配置与数据质量检查嵌入 CI/CD 流水线。
• 目标三：掌握数据传输优化技术（压缩、批处理、背压控制、多路复用），降低资源消耗。
• 目标四：通过实战案例，完成从采集、传输、门禁到存储的全链路集成。

学习路径分为四个阶段，对应课程章节结构：

1.5 课程适用人群与前置要求