1. 限流概念入门：什么是API限流、为什么需要限流、限流在模型服务中的重要性
1.1 什么是API限流
API限流（Rate Limiting） 是一种控制客户端对服务端资源访问频率或并发量的保护机制。它通过设定明确的阈值，限制在特定时间窗口内允许通过的请求数量，从而防止系统被突发流量冲垮。
在模型服务场景中，限流通常作用于以下维度：
- 请求速率（QPS）：每秒允许的最大请求数。
- 并发数（Concurrency）：同时处理的最大请求数。
- 令牌桶容量（Burst）：允许的瞬时突发请求上限。
- 用户/API Key 级别：按调用方身份独立限流。
核心定义：限流不是拒绝服务，而是有策略地控制流量，确保核心业务在安全水位下运行。
1.2 为什么需要限流
没有限流的模型服务，就像没有水闸的水管——当流量激增时，系统会迅速进入不可用状态。以下是限流解决的四大核心问题：
| 问题类型 | 具体表现 | 后果 |
|---|---|---|
| 资源耗尽 | GPU显存、CPU、内存被占满 | 服务OOM崩溃，所有请求失败 |
| 级联故障 | 一个服务过载，拖垮下游依赖 | 雪崩效应，整个链路不可用 |
| 成本失控 | 无限制调用导致GPU算力账单飙升 | 月度成本超出预算数倍 |
| 公平性缺失 | 单个用户占满所有资源 | 其他用户无法获得服务 |
常见误区：限流不等于降级。限流是预防性控制，降级是故障时的兜底策略。两者应配合使用，不可混为一谈。
1.3 限流在模型服务中的重要性
大语言模型（LLM）和深度学习推理服务对限流有更苛刻的要求，原因在于：
- 推理成本高：单次推理消耗大量GPU算力，无限制调用会迅速耗尽资源。
- 响应时间敏感：模型推理通常需要数百毫秒到数秒，并发过高会导致排队延迟急剧上升。
- 显存独占性：模型权重常驻显存，每个并发请求都会占用额外的KV Cache等显存资源。
- 计费粒度细：Token级别的计费模式要求精确控制调用量，防止滥用。
模型服务限流 vs 传统API限流：传统限流主要关注QPS和带宽；模型服务限流还需关注显存占用、推理延迟和Token消耗，是多维度的复合限流。
1.4 限流核心概念关系图
1.5 模型服务限流的特殊挑战
与传统Web API相比，模型服务限流面临以下独特挑战：
| 维度 | 传统API限流 | 模型服务限流 |
|---|---|---|
| 资源瓶颈 | CPU、内存、网络带宽 | GPU显存、推理延迟、Token配额 |
| 请求成本 | 相对固定，与请求内容无关 | 与输入/输出Token数成正比，差异巨大 |
| 排队模型 | 通常为FIFO | 需考虑优先级、批处理大小、显存碎片 |
| 限流粒度 | QPS、带宽 | QPS + 并发 + Token速率 + 显存占用 |
| 降级策略 | 返回429、降级到缓存 | 返回429、降级到小模型、截断输出 |
关键认知：模型服务的限流策略必须从单维度QPS升级为多维度资源感知的复合限流。例如，一个请求虽然QPS低，但若输入Token数极大，其实际资源消耗可能远超多个小请求。
1.6 限流在模型服务中的典型应用场景
- API网关层：对每个API Key进行QPS和并发限流，防止单个用户滥用。
- 推理引擎层：对GPU显存进行动态限流，当显存使用率超过阈值时拒绝新请求。
- 批处理调度层：限制最大批处理大小和等待时间，平衡延迟和吞吐量。
- Token配额层：按分钟/小时/天限制用户的Token消耗总量，用于计费和成本控制。
实践建议：在模型服务上线初期，建议将限流阈值设置为预估峰值的70%，留出缓冲空间。后续根据实际监控数据逐步调整。
1.7 本章小结
API限流是模型服务架构中不可或缺的稳定性保障手段。它通过控制请求速率、并发数和资源消耗，防止系统过载、避免成本失控、保障多租户公平性。与传统API限流不同，模型服务限流需要综合考虑GPU显存、推理延迟和Token消耗等多维因素，是一种更复杂的复合限流策略。