1. 课程导论：日志平台组件拓扑概述、控制平面调度策略的定义与重要性、性能优化的核心目标
1.1 日志平台组件拓扑概述
现代日志平台已从单体架构演进为分布式组件拓扑，各组件通过数据流与控制流协同工作。典型的日志平台拓扑包含以下核心层次：
| 层次 | 核心组件 | 职责描述 |
|---|---|---|
| 采集层 | Agent / Sidecar / Exporter | 从应用、容器、宿主机采集原始日志，支持多协议（Syslog、HTTP、gRPC） |
| 传输层 | Kafka / Pulsar / Flume | 提供高吞吐、持久化的消息缓冲，解耦生产端与消费端 |
| 处理层 | Logstash / Fluentd / Vector | 日志解析、过滤、富化、路由，支持插件化处理管道 |
| 存储层 | Elasticsearch / ClickHouse / Loki | 索引与存储，支持全文检索、聚合分析、冷热分层 |
| 查询与可视化层 | Kibana / Grafana / 自研UI | 提供搜索、仪表盘、告警、日志上下文关联能力 |
拓扑关键特征： 组件间依赖关系复杂，数据流具有明显的“扇入-扇出”模式。采集层扇入到传输层，传输层扇出到处理层，处理层再扇入到存储层。这种拓扑结构对调度策略的实时性与均衡性提出了极高要求。
1.2 控制平面调度策略的定义与重要性
控制平面调度策略是指在分布式日志平台中，由控制平面组件（如 Kubernetes Scheduler、自研调度器、资源管理器）根据全局状态信息，决定各工作负载（Pod、Task、Pipeline）在集群节点上的放置位置、资源配额、启动顺序以及故障恢复优先级的一组规则与算法。
1.2.1 调度策略的核心维度
- 资源维度： CPU、内存、磁盘 IO、网络带宽的分配与限制。
- 拓扑维度： 组件亲和性（如将 Logstash 调度到 Kafka 所在节点附近）、反亲和性（避免同一组件多副本部署在同一物理机）。
- 时间维度： 启动顺序（先启动传输层，再启动处理层）、滚动更新策略。
- 故障维度： 节点宕机后的 Pod 驱逐优先级、跨可用区容灾调度。
1.2.2 为什么调度策略对日志平台至关重要
| 挑战 | 无调度策略的后果 | 有调度策略的收益 |
|---|---|---|
| 采集层高并发写入 | Kafka 分区倾斜，部分 Broker 过载 | 均匀分布写入负载，避免热点 |
| 处理层资源竞争 | Logstash 频繁 OOM，管道阻塞 | 按日志量动态调整处理单元数量 |
| 存储层写入瓶颈 | ES 索引写入拒绝，查询延迟飙升 | 控制写入速率，保障查询优先级 |
| 节点故障 | 关键组件长时间不可用，数据丢失 | 快速迁移，保证拓扑完整性 |
常见误区： 许多团队将调度策略等同于“随机分配”或“Round-Robin”，忽略了日志平台数据流的“有向无环图（DAG）”特性。错误的调度策略会导致整个拓扑的级联性能退化，甚至雪崩。
1.3 性能优化的核心目标
本课程的性能优化围绕以下三个核心目标展开，它们构成了调度策略设计的评价基准：
- 吞吐量最大化： 在单位时间内处理尽可能多的日志行数（events/sec），避免组件成为瓶颈。
- 延迟最小化： 从日志产生到可查询的端到端延迟（P99 < 5s），保障实时性。
- 资源利用率均衡： 集群各节点的 CPU、内存、磁盘 IO 使用率偏差控制在 20% 以内，避免“木桶效应”。
1.4 课程范围与预期收益
本课程将深入讲解以下关键技术领域：
- 调度算法： 从贪心调度到基于 DAG 的拓扑排序调度，再到强化学习驱动的自适应调度。
- 资源模型： 如何为日志组件建立准确的资源画像（CPU 密集 vs IO 密集）。
- 拓扑感知调度： 利用组件间的数据流依赖关系，优化放置策略以减少网络跳数。
- 动态重调度： 在运行时根据负载变化调整组件分布，无需重启服务。
- 生产级案例： 基于 Kubernetes 的日志平台调度优化实战，包含压测数据与调优步骤。
学习前提： 建议学员具备分布式系统基础（如 CAP 理论、一致性哈希）、Kubernetes 基本概念（Pod、Node、Scheduler）以及日志平台组件（ELK/EFK）的使用经验。本课程将提供完整的代码示例与可复现的实验环境配置。