3. 调度策略概述：常见策略与适用场景对比
调度策略是 SLO 调优的核心执行层——它决定了当多个请求、任务或连接同时到达时，系统以何种顺序、何种权重将资源分配给它们。不同的策略在吞吐量、公平性、响应时间和资源利用率上存在显著差异。本节将系统梳理四种最常见的调度策略，并通过对比表格和结构图帮助建立策略选型的直觉。
3.1 四种核心调度策略
| 策略 | 核心原则 | 调度复杂度 | 典型场景 |
|---|---|---|---|
| FIFO（先入先出） | 按到达顺序依次处理，无优先级区分 | O(1) | 日志写入、消息队列、批处理任务 |
| 优先级调度 | 按预设优先级排序，高优先级先执行 | O(n log n) | 实时交易、控制面请求、故障恢复 |
| 加权轮询（WRR） | 按权重比例循环分配，权重越高获得越多执行机会 | O(n) | 负载均衡、多租户资源分配、CPU 调度 |
| 最小连接数（LC） | 将新请求分配给当前活跃连接数最少的后端 | O(n) | 长连接服务、数据库连接池、代理网关 |
选型直觉： 如果所有任务同质且无优先级需求，FIFO 是最简单且可预测的选择；当需要保障关键业务时，优先级调度是首选；多租户场景下加权轮询能提供确定性比例；而最小连接数更适合处理时间差异大的长连接服务。
3.2 策略行为对比
以下从五个关键维度对比四种策略，帮助理解它们在 SLO 调优中的实际表现：
| 维度 | FIFO | 优先级 | 加权轮询 | 最小连接数 |
|---|---|---|---|---|
| 公平性 | 公平（按到达顺序） | 不公平（高优先级占优） | 按权重比例公平 | 按负载动态公平 |
| 响应时间 | 受队头阻塞影响大 | 高优先级响应极快 | 中等，受权重影响 | 动态优化，避免过载 |
| 吞吐量 | 高（无调度开销） | 中（排序开销） | 高（循环开销小） | 中（需实时统计连接数） |
| 资源利用率 | 可能不均（长任务阻塞） | 低优先级可能饿死 | 均衡（按权重分配） | 高（动态适配） |
| 实现复杂度 | 最低 | 中 | 低 | 中 |
常见陷阱： 优先级调度在高并发下容易导致低优先级任务长时间得不到执行（饥饿），进而引发超时雪崩。加权轮询如果权重设置不合理，会导致部分后端过载而其他后端空闲。最小连接数在请求处理时间差异极大时，连接数并不能准确反映真实负载。
3.3 调度策略结构图
下图展示了四种策略的核心调度逻辑，帮助理解它们如何将请求映射到后端资源：
3.4 适用场景深度分析
3.4.1 FIFO —— 简单可靠，但缺乏灵活性
- 适用： 日志收集、事件流处理、离线批处理、消息队列（如 Kafka 分区内顺序消费）
- 不适用： 需要 QoS 保障的在线服务、混合负载（长任务 + 短任务）
- SLO 调优要点： 当请求处理时间方差较大时，FIFO 会导致队头阻塞，尾部延迟急剧恶化。建议配合超时熔断或任务分片使用。
3.4.2 优先级调度 —— 保障关键业务，但需防饥饿
- 适用： 实时交易系统、控制面请求（如 Kubernetes 调度）、故障恢复流程
- 不适用： 所有任务同等重要的场景、无法明确划分优先级的系统
- SLO 调优要点： 必须实现优先级提升（Priority Boost）或老化机制，防止低优先级任务无限等待。建议设置最大等待时间阈值。
3.4.3 加权轮询 —— 确定性比例，适合多租户
- 适用： 负载均衡（Nginx、HAProxy）、多租户资源配额、CPU 时间片分配
- 不适用： 后端处理能力动态变化大的场景、需要感知实时负载的场景
- SLO 调优要点： 权重需要根据后端实际容量定期校准。动态加权轮询（Dynamic WRR）可根据实时指标调整权重，是更优的演进方向。
3.4.4 最小连接数 —— 动态均衡，适合长连接
- 适用： 数据库连接池、WebSocket 服务、gRPC 长连接、代理网关
- 不适用： 短连接高频请求（连接数波动剧烈）、请求处理时间极不均匀的场景
- SLO 调优要点： 最小连接数假设每个连接负载相近，当请求处理时间差异大时，应改用加权最小连接数（WLC），将连接数与权重结合。
3.5 策略组合模式
生产环境中单一策略往往无法满足所有 SLO 目标，常见的组合模式包括：
| 组合模式 | 实现方式 | 典型场景 |
|---|---|---|
| 优先级 + 加权轮询 | 先按优先级分类，同一优先级内使用加权轮询 | 云平台多租户：VIP 租户高优先级，普通租户低优先级，同优先级内按购买配额轮询 |
| FIFO + 最小连接数 | 全局 FIFO 队列，但选择后端时使用最小连接数 | 消息消费：保证消息顺序，同时将消息分发到负载最轻的消费者 |
| 优先级 + 最小连接数 | 高优先级请求直接分配，低优先级请求等待最小连接数后端 | 数据库中间件：写请求高优先级，读请求低优先级且均衡分发 |
实战建议： 在 SLO 调优初期，优先选择单一策略并充分理解其行为边界。当单一策略无法满足延迟和吞吐量目标时，再引入组合模式。每次策略变更后，必须通过 A/B 测试或灰度发布验证对 SLO 指标的实际影响。
3.6 策略选型决策流程
以下决策流程可以帮助快速确定初始策略：
- 任务是否有明确的优先级？ → 是 → 选择优先级调度（或优先级 + 其他策略组合）
- 任务是否同质且处理时间相近？ → 是 → 选择 FIFO
- 是否需要按比例分配资源？ → 是 → 选择加权轮询
- 后端处理能力是否动态变化？ → 是 → 选择最小连接数
- 以上都不完全匹配？ → 从加权轮询开始，逐步引入动态调整机制