核心概念：限流、熔断、降级与隔离

在模型 Serving 层，稳定性保障的四个核心概念——限流、熔断、降级与隔离——构成了防御体系的基础。它们各自解决不同维度的风险，又相互配合形成完整的韧性策略。本节将逐一拆解定义，并重点分析降级与隔离的内在关系。

2.1 限流（Rate Limiting）定义

限流是一种主动预防机制，通过控制单位时间内进入系统的请求量，防止流量洪峰击穿后端服务。在模型 Serving 场景中，限流直接作用于推理请求的入口。

2.2 熔断（Circuit Breaker）定义

熔断是一种被动保护机制，当下游服务（如模型推理引擎、特征存储）持续出现故障或超时时，自动切断调用链路，避免故障级联扩散。熔断器通常包含三个状态：关闭、打开、半开。

2.3 降级（Degradation）定义

降级是在系统资源不足或依赖服务故障时，主动牺牲部分功能或精度，以保障核心业务可用的策略。在模型 Serving 中，降级通常表现为以下几种形式：

• 模型降级：从高精度大模型切换到轻量级小模型（如 BERT → FastText）
• 精度降级：降低推理精度（FP32 → FP16 → INT8），减少计算开销
• 功能降级：关闭非核心特征（如去除后处理、日志增强）
• 数据降级：使用缓存结果替代实时推理，或返回默认值

2.4 隔离（Bulkhead）定义

隔离是一种资源分区策略，将系统划分为独立的资源池，防止一个分区的故障或资源耗尽影响到其他分区。隔离的核心思想是“不把鸡蛋放在同一个篮子里”。

2.5 降级与隔离的关系

降级与隔离是互补而非替代的关系，两者共同构成系统的韧性底座：

• 隔离提供边界，降级提供行为：隔离划定了故障的影响范围，降级定义了在边界内如何应对。
• 隔离是静态结构，降级是动态策略：隔离在部署时确定，降级在运行时触发。
• 隔离防止扩散，降级保障可用：隔离阻止故障蔓延到其他分区，降级确保当前分区仍能提供有限服务。

2.6 四者协同总结