2. 熔断机制基础：熔断的定义、熔断与降级、限流的区别、熔断在模型API中的作用
2.1 熔断的定义
熔断（Circuit Breaker）是一种自我保护机制，源自电路工程中的断路器概念。在微服务与模型API架构中，熔断器监控对下游服务（如推理引擎、数据库、第三方模型网关）的调用状态。当连续失败或超时达到预设阈值时，熔断器“跳闸”，立即拒绝后续请求，避免请求继续堆积导致系统雪崩。
核心思想：快速失败（Fail Fast）优于让请求长时间阻塞或重试，从而保护系统整体可用性。
熔断器通常包含三种状态：
- 关闭（Closed）：正常状态，请求直接通过，但计数器记录失败次数。
- 打开（Open）：失败阈值被触发，请求直接返回错误，不调用下游。
- 半开（Half-Open）：经过冷却时间后，允许少量探测请求通过，检验下游是否恢复。
2.2 熔断与降级、限流的区别
熔断、降级、限流是系统稳定性的“三驾马车”，但三者目标与触发机制不同。下表从多个维度进行对比：
| 维度 | 熔断 (Circuit Breaker) | 降级 (Degradation) | 限流 (Rate Limiting) |
|---|---|---|---|
| 核心目标 | 保护下游，防止故障扩散 | 牺牲非核心功能，保障核心功能 | 控制流量速率，防止过载 |
| 触发条件 | 连续失败/超时达到阈值 | 资源不足、依赖故障、高峰期 | 请求速率超过预设 QPS 阈值 |
| 动作表现 | 直接拒绝请求，快速失败 | 返回降级结果（缓存/默认值/提示） | 排队、限速、丢弃多余请求 |
| 恢复方式 | 半开探测，成功后自动关闭 | 手动或自动解除降级开关 | 流量回落后自动恢复 |
| 典型场景 | 模型推理服务连续 5xx 错误 | 推荐模型降级为热门榜单 | API 网关限制单用户 100 QPS |
记忆口诀：限流管“量”，熔断管“质”，降级管“范围”。三者常组合使用，但不可互相替代。
2.3 熔断在模型API中的作用
模型API（尤其是大语言模型、图像生成模型）具有高计算成本、长响应时间、资源敏感等特点。熔断机制在模型API中承担以下关键角色：
- 防止推理集群雪崩：当模型推理引擎因显存不足或算子异常开始超时，熔断器快速切断流量，避免请求队列无限堆积导致整个节点 OOM。
- 保护下游依赖：模型API常依赖向量数据库、缓存、内容审核服务。若下游故障，熔断器阻止模型继续发送无效请求，减少资源浪费。
- 保障SLA：熔断后快速返回“服务暂不可用”错误，客户端可立即重试或切换模型，避免用户等待超时。
- 支持灰度与回滚：新模型版本上线时，若监控到错误率飙升，熔断器自动摘除异常节点，为回滚争取时间。
实践注意：模型API的熔断阈值设置不宜过小。大模型推理本身存在偶发长尾延迟（如显存重分配），建议将超时阈值设为 P99 延迟的 1.5~2 倍，避免正常请求被误熔断。
2.4 熔断参数配置参考
以下是一组针对模型API的熔断器典型配置参数（以 Hystrix / Resilience4j 风格为例）：
| 参数 | 推荐值 | 说明 |
|---|---|---|
| 滑动窗口大小 | 10 ~ 20 次请求 | 统计最近 N 次调用的成功/失败状态 |
| 失败率阈值 | 50% ~ 60% | 窗口内失败比例超过此值则熔断 |
| 最小请求数 | 5 ~ 10 | 窗口内请求数低于此值不触发熔断，避免冷启动误判 |
| 冷却时间 | 10 ~ 30 秒 | 熔断打开后等待时间，之后进入半开状态 |
| 半开探测请求数 | 1 ~ 3 | 半开状态下允许通过的探测请求数量 |
关键原则：熔断配置应随模型版本迭代动态调整。建议将熔断参数暴露为可配置项，通过配置中心或环境变量下发，避免硬编码。