2. API流量控制基础概念：限流、熔断、降级、隔离的定义与区别

在模型风险管理系统中，API流量控制是保障服务稳定性与数据安全的核心手段。当模型推理请求量激增、上游服务异常或资源争用时，缺乏流量控制可能导致系统雪崩、模型响应超时甚至数据丢失。本章将系统阐述四种基础控制手段：限流、熔断、降级与隔离，并明确其定义与关键区别。

2.1 限流（Rate Limiting）

定义：限流是指对单位时间内进入系统的请求数量进行上限控制，防止瞬时流量超过系统或模型的处理能力。限流作用于请求入口，是一种主动防御策略。

• 核心目标：保护后端资源（模型推理节点、数据库、GPU集群）不被突发流量冲垮。
• 常用算法：令牌桶、漏桶、滑动窗口、计数器。
• 典型场景：模型API每秒最多处理1000次推理请求，超出部分直接返回429状态码或排队等待。

2.2 熔断（Circuit Breaking）

定义：熔断是一种被动响应机制，当下游服务（如模型推理引擎、特征数据库）连续出现错误或超时时，熔断器自动断开请求链路，避免故障扩散。熔断作用于调用链路，通常包含关闭、打开、半开三种状态。

• 核心目标：快速失败，防止级联故障（雪崩效应）。
• 关键参数：错误阈值、时间窗口、熔断恢复间隔。
• 典型场景：模型推理服务连续5次返回500错误，熔断器打开，后续请求直接返回降级响应，不再调用模型。

2.3 降级（Degradation）

定义：降级是指在系统资源紧张或部分功能失效时，主动放弃非核心功能或使用简化逻辑，以保证核心业务（如模型推理主流程）的可用性。降级是一种有损服务策略。

• 核心目标：保核心、弃非核心，维持系统基本运转。
• 常见手段：返回缓存结果、使用轻量模型替代复杂模型、关闭日志记录、关闭特征校验。
• 典型场景：当模型A（高精度但慢）超载时，降级为模型B（低精度但快）进行推理，或直接返回最近一次有效结果。

2.4 隔离（Isolation）

定义：隔离是指通过物理或逻辑手段，将不同模型、不同租户或不同优先级的请求资源进行分离，避免单一模型或租户的异常行为影响全局。隔离作用于资源分配层面。

• 核心目标：故障域隔离，实现“一个模型出问题，不影响其他模型”。
• 实现方式：线程池隔离、进程隔离、容器隔离、集群隔离、队列隔离。
• 典型场景：为高优先级模型（如实时风控）分配独立GPU实例，与批量评分模型（如客户画像）完全隔离。

2.5 四者核心区别

下表从作用时机、触发条件、核心目标、典型动作四个维度对比四种流量控制手段：

2.6 四者协同关系

在实际模型风险管理系统中，四种手段通常组合使用，形成多层防护。下图展示了典型的协同架构：

2.7 模型风险管理中的选择策略

在模型风险管理场景下，选择哪种流量控制手段需考虑以下因素：

• 模型重要性：核心风控模型建议同时启用限流+熔断+隔离；辅助模型可仅启用限流+降级。
• 资源成本：隔离（尤其是GPU集群隔离）成本最高，需评估模型故障影响范围后决定。
• 监管合规：部分监管场景要求模型服务必须返回结果（不可降级），此时应优先使用限流与隔离。
• 动态调整：建议通过配置中心动态调整限流阈值、熔断参数与降级策略，避免硬编码。