3. API限流基础：什么是API限流、限流的目的

API限流（Rate Limiting / Throttling）是API网关和微服务架构中最基础、最核心的防护手段之一。在模型风险控制场景下，限流不仅是技术策略，更是成本与安全的第一道防线。本节将系统阐述API限流的定义、核心机制以及三大关键目的。

3.1 什么是API限流

API限流是指对特定时间段内，客户端对API接口的访问次数或并发量进行限制的技术手段。当请求速率超过预设阈值时，系统会直接拒绝、排队或降级处理超限请求，从而保护后端服务不被突发流量冲垮。

限流的核心要素包括：

• 时间窗口：限流生效的时间单位（如1秒、1分钟、1小时）。
• 阈值：在时间窗口内允许的最大请求次数或并发数。
• 粒度：限流作用的对象（如单个用户、单个IP、单个API Key、全局）。
• 响应行为：超限后的处理方式（拒绝、排队、降级、返回429状态码）。

3.2 API限流的三大目的

限流并非为了限制用户而存在，而是为了实现以下三个核心目标：

3.3 保护后端：防止系统过载

这是限流最原始、最直接的目的。模型推理服务通常部署在GPU集群上，其处理能力受显存、算力和推理引擎并发度的严格限制。当请求速率超过后端处理能力时，会发生：

• 请求堆积：大量请求在队列中等待，导致响应延迟飙升（Tail Latency）。
• 资源耗尽：GPU显存被占满，触发OOM（Out of Memory）错误，导致模型进程崩溃。
• 级联故障：一个模型实例崩溃后，负载均衡器将流量转发给其他实例，引发连锁过载。

3.4 公平使用：保障多租户服务质量

在模型API服务中，不同用户或应用对资源的消耗差异巨大。一个调用批量推理任务的用户可能消耗数千Token，而一个实时对话用户可能只消耗几十Token。如果没有限流，少数“贪婪”用户会抢占大部分资源，导致其他用户的服务质量严重下降。

公平使用限流的典型策略：

• 用户级配额：为每个API Key或用户设置独立的RPM/TPM上限。
• 权重分配：付费用户享有更高配额，免费用户共享基础配额池。
• 优先级队列：高优先级请求插队或获得更多资源份额。

3.5 成本控制：管理Token消耗与GPU算力

大模型推理的成本主要由GPU算力和Token消耗决定。一次模型调用的成本可能是普通API调用的数十倍甚至数百倍。限流是成本控制最直接、最有效的工具。

成本控制维度的限流实践：

3.6 限流在模型风险控制中的特殊意义

与传统Web API限流相比，模型API限流在风险控制层面有额外的考量：

• Token级限流：模型推理成本与输入输出Token数直接挂钩，仅限制请求次数不足以控制成本，必须引入TPM限流。
• 推理时长差异：不同模型（如GPT-4 vs GPT-3.5）和不同任务（如短文本生成 vs 长文档分析）的推理时长差异巨大，限流阈值需要按模型和任务类型差异化配置。
• 安全审计联动：限流日志应与内容安全审计联动，高频调用者可能是恶意攻击或数据爬取行为，需要触发更严格的安全审查。