3. 令牌桶算法详解：数学模型、参数配置与模型API适用场景

令牌桶算法（Token Bucket）是限流领域最经典的算法之一，尤其适用于需要容忍突发流量、同时保证长期平均速率的高性能系统。在低延迟模型API场景中，令牌桶算法能够有效平衡推理资源的利用率与请求响应质量。

3.1 算法数学模型

令牌桶算法的核心思想是：系统以恒定速率向一个容量有限的桶中放入令牌，每个请求在进入处理前必须先获取一个（或多个）令牌。如果桶中有足够的令牌，请求被允许通过；否则请求被拒绝或排队等待。

令牌更新公式：

tokens(t + Δt) = min(b, tokens(t) + r × Δt)

当请求到达时，消耗 n 个令牌（通常 n=1）：

if tokens(t) >= n:
    tokens(t) = tokens(t) - n
    允许请求通过
else:
    拒绝请求或进入等待队列

3.2 参数配置策略

令牌桶算法的两个核心参数——速率（r）和容量（b）——直接影响限流效果。在模型API场景中，参数配置需要结合模型推理的延迟特征和资源成本。

3.3 在模型API中的适用场景

模型API的流量模式与普通Web API有显著差异：推理请求的延迟通常较高（10ms~1s），且GPU/TPU资源昂贵。令牌桶算法在以下场景中表现优异：

• 突发流量平滑：模型API常面临用户短时间内的集中调用（如活动促销、批量推理），令牌桶允许突发请求被“削峰填谷”，避免后端过载。
• 多租户隔离：为每个租户分配独立的令牌桶（r_i, b_i），确保高流量租户不会挤占其他租户的资源。
• 成本控制：通过限制 r 值，将模型API的调用量控制在预算范围内，避免因流量激增导致云服务费用超支。
• 优先级调度：结合消耗系数 n，为高优先级请求分配更多令牌（如 n=0.5），实现差异化服务质量。

3.4 算法实现示例

以下是一个基于时间戳计算的令牌桶实现，适用于高性能模型API网关：

class TokenBucket:
    def __init__(self, rate: float, capacity: int):
        self.rate = rate          # 令牌生成速率（令牌/秒）
        self.capacity = capacity  # 桶容量
        self.tokens = capacity    # 当前令牌数
        self.last_refill = time.time()  # 上次补充时间

    def allow_request(self, tokens_needed: int = 1) -> bool:
        now = time.time()
        # 计算时间差并补充令牌
        elapsed = now - self.last_refill
        self.tokens = min(self.capacity, self.tokens + elapsed * self.rate)
        self.last_refill = now

        if self.tokens >= tokens_needed:
            self.tokens -= tokens_needed
            return True
        return False

3.5 与其他限流算法的对比