2. 限流基础概念

2.1 什么是API限流

API限流（Rate Limiting）是一种控制客户端在指定时间窗口内能够向服务端发送请求数量的机制。在模型验证环境中，大模型推理资源昂贵且响应时间敏感，限流能够防止单个用户或接口耗尽集群算力，保障核心业务的可用性。

限流与熔断的区别：限流是主动控制请求进入速率，熔断是被动检测故障后切断请求链路。两者常配合使用，形成“先限流、后熔断”的防御层次。

2.2 常见限流算法

业界主流限流算法包括令牌桶、漏桶和计数器三种，它们在突发处理、平滑度和实现复杂度上各有侧重。

令牌桶算法详解

令牌桶是模型验证环境中最常用的限流算法。系统以恒定速率（如每秒10个）向桶中添加令牌，桶容量上限（如20个）决定了最大突发量。每个请求到达时从桶中取走一个令牌，若桶空则请求被阻塞或拒绝。

# 令牌桶核心逻辑（伪代码）
class TokenBucket:
    def __init__(self, rate, capacity):
        self.rate = rate          # 令牌生成速率（个/秒）
        self.capacity = capacity  # 桶容量
        self.tokens = capacity    # 当前令牌数
        self.last_refill = time.time()

    def allow_request(self):
        now = time.time()
        elapsed = now - self.last_refill
        self.tokens = min(self.capacity, self.tokens + elapsed * self.rate)
        self.last_refill = now
        if self.tokens >= 1:
            self.tokens -= 1
            return True
        return False

漏桶算法详解

漏桶算法将请求视为水滴，以固定速率从桶底流出。桶容量固定，超出容量的请求直接丢弃。该算法强制输出速率恒定，适合需要严格平滑流量的场景。

# 漏桶核心逻辑（伪代码）
class LeakyBucket:
    def __init__(self, rate, capacity):
        self.rate = rate          # 漏水速率（请求/秒）
        self.capacity = capacity  # 桶容量
        self.water = 0            # 当前水量
        self.last_leak = time.time()

    def allow_request(self):
        now = time.time()
        leaked = (now - self.last_leak) * self.rate
        self.water = max(0, self.water - leaked)
        self.last_leak = now
        if self.water < self.capacity:
            self.water += 1
            return True
        return False

计数器算法详解

计数器算法实现最简单：在固定时间窗口（如1秒）内统计请求次数，超过阈值则拒绝。缺点是窗口切换瞬间可能出现两倍阈值的突发流量。

2.3 限流粒度

限流粒度决定了限流规则的作用范围。在模型验证环境中，通常需要从全局、用户、接口三个维度进行精细化控制。

2.4 限流算法选型建议

在模型验证环境中，不同场景适合不同的限流算法组合：

• 高并发推理接口： 令牌桶 + 用户粒度限流，允许短时突发，提升用户体验。
• 流式输出接口： 漏桶 + 接口粒度限流，保证输出速率稳定，避免客户端缓冲区溢出。
• 内部测试环境： 计数器 + 全局粒度限流，实现简单，快速验证限流逻辑是否正确。
• 多模型混合部署： 令牌桶 + 接口粒度限流，为不同模型设置差异化配额。