4. 模型风险中的限流场景：高并发模型调用、恶意攻击防护、成本控制、SLA保障
在模型风险管理体系中，API网关限流并非单一的技术动作，而是针对不同风险来源的差异化策略。高并发调用、恶意攻击、成本失控以及SLA违约，分别对应着系统稳定性、安全防护、财务合规与服务质量四个维度的风险。本章逐一拆解这四类场景的限流触发条件、策略选择与风险缓释效果。
4.1 高并发模型调用：防止资源过载与级联故障
当模型API遭遇突发流量（如促销活动、社交热点、批量推理任务）时，后端推理集群可能瞬间达到CPU/GPU瓶颈，导致响应时间飙升甚至OOM崩溃。限流在此场景下的核心目标是削峰填谷，保障核心交易不被冲垮。
关键指标： 并发数（Concurrency）、QPS（每秒查询数）、GPU利用率、P99延迟。当任意指标超过预设阈值（如GPU利用率 > 85% 或 P99延迟 > 2000ms），触发限流。
| 限流策略 | 适用场景 | 风险缓释效果 |
|---|---|---|
| 令牌桶（Token Bucket） | 突发流量可容忍短时积压 | 平滑流量尖峰，允许一定突发 |
| 漏桶（Leaky Bucket） | 严格匀速输出，拒绝突发 | 强制排队，保护下游推理服务 |
| 滑动窗口（Sliding Window） | 需要精确统计每秒请求数 | 避免临界突变，统计精度高 |
| 自适应限流（Adaptive） | 动态负载环境，无法预设阈值 | 根据实时CPU/GPU负载自动调整 |
4.2 恶意攻击防护：识别与阻断异常流量
模型API可能遭受DDoS攻击、爬虫批量抽取、对抗样本探测或凭证填充攻击。限流在此场景下需要与WAF、IP黑名单、行为分析联动，对异常流量进行快速降级或拒绝。
- IP/用户维度限流： 单IP每秒请求超过阈值（如50 QPS）直接返回429，防止爬虫耗尽推理资源。
- 行为模式检测： 短时间内连续调用不同模型、频繁切换参数、请求间隔高度均匀等异常模式，触发临时封禁。
- 验证码/挑战： 当限流触发后，对疑似攻击流量插入CAPTCHA或Proof-of-Work挑战，区分人与机器。
- 熔断降级： 当错误率超过20%或延迟超过5秒，网关自动熔断该模型路由，返回降级响应。
风险提示： 恶意攻击防护限流必须避免误伤正常用户。建议采用“软限流+硬限流”两级策略：软限流返回429并提示重试，硬限流直接断开连接。同时记录攻击特征到安全日志，用于后续模型安全审计。
4.3 成本控制：限制推理资源消耗与预算溢出
模型推理成本通常与调用量、模型复杂度（参数量）、推理时长正相关。在金融、医疗等合规场景中，模型调用成本需要被严格管控，防止因内部测试、误操作或业务方滥用导致预算超支。
| 成本维度 | 限流策略 | 风险缓释效果 |
|---|---|---|
| 按调用量计费 | 每日/每月配额限流（Quota） | 防止预算超支，支持配额预警 |
| 按模型复杂度计费 | 限制高成本模型调用比例 | 引导用户使用轻量模型，降低成本 |
| 按推理时长计费 | 超时熔断 + 并发限制 | 避免长耗时推理堆积，控制GPU成本 |
| 按用户/部门计费 | 用户级配额 + 超额限流 | 实现成本分摊与内部计费 |
最佳实践： 在网关层为每个模型API绑定成本标签（Cost Tag），通过限流策略实现“预算耗尽即熔断”。例如：当月推理预算剩余20%时触发预警，剩余10%时启动软限流（降低优先级），剩余0%时直接拒绝新请求并返回“预算不足”错误码。
4.4 SLA保障：确保模型服务的可用性与响应质量
模型API通常对外承诺SLA（如99.9%可用性、P99延迟 < 500ms）。限流是保障SLA达成的最后一道防线：当系统负载接近SLA临界值时，主动限流低优先级请求，确保高优先级请求的延迟和成功率。
- 优先级队列： 将请求分为VIP、普通、批量三个等级，限流时优先丢弃批量请求，保障VIP请求的SLA。
- 延迟感知限流： 实时监控P99延迟，当延迟超过SLA阈值（如400ms）时，自动降低QPS上限，直到延迟回落。
- 可用性熔断： 当模型实例连续错误超过阈值（如5次），网关自动摘除该实例，避免影响整体SLA。
- 重试与退避： 被限流的请求支持指数退避重试，但重试次数上限为3次，防止重试风暴。
4.5 四类场景的限流策略对比
| 场景 | 核心风险 | 限流粒度 | 典型阈值 | 响应动作 |
|---|---|---|---|---|
| 高并发调用 | 资源过载、级联故障 | API级别、集群级别 | QPS > 5000 或 GPU > 85% | 排队、降级、返回503 |
| 恶意攻击防护 | DDoS、爬虫、探测 | IP级别、用户级别 | 单IP QPS > 50 或异常模式 | 429、封禁、CAPTCHA |
| 成本控制 | 预算超支、资源浪费 | 用户级别、部门级别 | 月配额耗尽 或 单次成本 > 阈值 | 拒绝请求、返回预算不足 |
| SLA保障 | 延迟超标、可用性下降 | 优先级级别、实例级别 | P99 > 400ms 或 错误率 > 5% | 丢弃低优先级、熔断实例 |
总结： 模型风险管理中的限流不是一刀切的“拒绝请求”，而是根据风险场景选择不同的限流粒度、阈值和响应动作。高并发场景侧重平滑流量，攻击防护侧重快速阻断，成本控制侧重配额管理，SLA保障侧重优先级调度。实际生产环境中，四类场景往往叠加出现，需要网关支持多维度限流规则的组合与优先级排序。