3. 令牌桶算法详解

令牌桶算法是限流领域最经典的算法之一，也是模型验证 API 网关中默认采用的限流策略。它通过一个“桶”来平滑突发流量，同时保证长期平均速率可控，非常适合大语言模型推理场景中请求到达时间不均匀、但单次推理耗时相对稳定的特点。

3.1 算法工作机制

令牌桶的核心思想是：系统以固定速率向桶中放入令牌，每个请求必须从桶中获取一个（或多个）令牌才能被处理。如果桶中令牌不足，请求被拒绝或排队等待。

算法执行流程分为三个关键步骤：

1. 令牌填充：后台定时器以速率 r 向桶中添加令牌，桶满则丢弃多余令牌。
2. 令牌消费：每个请求到达时，尝试从桶中取出 1 个令牌（或按权重取多个）。
3. 准入判断：取到令牌则放行请求；取不到则拒绝或排队等待。

3.2 参数配置详解

令牌桶有两个核心参数，直接决定了限流效果：

3.2.1 速率（r）的确定

速率决定了系统的长期平均吞吐量。对于模型验证 API，建议按以下方式计算：

• 基准值：单实例模型推理的最大 QPS × 实例数 × 0.8（预留 20% 安全余量）。
• 动态调整：结合模型推理耗时波动，建议设置速率不超过实测峰值的 85%。
• 多模型场景：不同模型应独立配置速率，避免轻量模型被重型模型拖累。

3.2.2 容量（b）的确定

容量决定了突发容忍度。容量越大，系统能承受的瞬时流量尖峰越高：

• 保守配置：b = r × 1（仅允许 1 秒的突发，适合对延迟敏感的在线服务）。
• 均衡配置：b = r × 3（允许 3 秒突发，适合大多数模型验证场景）。
• 宽松配置：b = r × 5~10（允许较大突发，适合批量推理或离线验证）。

3.3 适用场景

令牌桶算法在模型验证 API 中有以下典型应用场景：

3.4 优缺点分析

3.5 代码实现示例

以下是一个轻量级令牌桶的 Python 实现，可直接用于模型验证 API 的限流中间件：

import time
import threading

class TokenBucket:
    def __init__(self, rate: float, capacity: int):
        """
        :param rate: 令牌生成速率（个/秒）
        :param capacity: 桶容量（最大令牌数）
        """
        self.rate = rate
        self.capacity = capacity
        self.tokens = capacity  # 初始装满
        self.last_refill = time.monotonic()
        self.lock = threading.Lock()

    def _refill(self):
        """按时间间隔补充令牌"""
        now = time.monotonic()
        elapsed = now - self.last_refill
        new_tokens = elapsed * self.rate
        self.tokens = min(self.capacity, self.tokens + new_tokens)
        self.last_refill = now

    def consume(self, tokens: int = 1) -> bool:
        """
        尝试消费 tokens 个令牌
        :return: True 表示允许请求，False 表示限流
        """
        with self.lock:
            self._refill()
            if self.tokens >= tokens:
                self.tokens -= tokens
                return True
            return False

# 使用示例：速率 10 QPS，桶容量 30（允许 3 秒突发）
bucket = TokenBucket(rate=10, capacity=30)

# 模拟请求
for i in range(50):
    if bucket.consume():
        print(f"请求 {i+1}: 通过")
    else:
        print(f"请求 {i+1}: 限流")
    time.sleep(0.05)  # 模拟请求间隔

3.6 参数配置速查表

根据不同的模型验证 API 场景，推荐以下参数配置模板：