📚 课程目录第2章熔断器模式基础

2. 熔断器模式基础：三种状态与核心参数

熔断器模式（Circuit Breaker Pattern）是微服务与API网关中防止级联故障的关键容错手段。在模型验证流程中，当上游模型服务响应缓慢或频繁失败时，熔断器能快速切断调用链路，避免验证线程阻塞、资源耗尽，并为下游系统提供降级响应。理解熔断器的三种状态、状态转换逻辑及核心参数，是设计可靠验证流水线的第一步。

2.1 熔断器三种状态

熔断器内部维护一个有限状态机，包含三个基本状态：关闭（Closed）、打开（Open）、半开（Half-Open）。每个状态对应不同的请求处理策略。

状态	含义	请求处理行为	典型触发条件
关闭（Closed）	熔断器正常，请求直接通过	正常转发请求到模型服务，统计失败率	系统启动或故障恢复后
打开（Open）	熔断器触发，请求被快速拒绝	直接返回降级响应或抛出异常，不调用下游	失败率超过阈值
半开（Half-Open）	熔断器尝试恢复，放行少量探测请求	允许有限数量的请求通过，评估下游是否恢复	打开状态超时后自动进入

  关键认知： 关闭状态不等于“无故障”，它只是表示当前失败率在可接受范围内；打开状态是熔断器的保护态，目的是快速失败而非等待超时；半开状态是恢复探测态，防止服务刚恢复就被大量请求冲垮。

2.2 状态转换逻辑

状态转换由三个核心事件驱动：失败率超阈值、超时等待、探测请求结果。下图展示了完整的状态转换流程。

实践要点： 状态转换是自动且无锁的，熔断器内部通常使用原子变量或CAS操作保证并发安全。在模型验证场景中，建议将熔断器实例与模型服务端点一一对应，避免不同模型互相影响。

2.3 核心参数详解

熔断器的行为由三个核心参数控制：阈值（Threshold）、超时（Timeout）、重试（Retry）。合理配置这些参数是熔断器生效的前提。

2.3.1 阈值（Threshold）

阈值决定熔断器从关闭状态切换到打开状态的触发条件。通常基于滑动窗口内的失败率计算，而非绝对失败次数。

滑动窗口大小： 统计最近N个请求（如最近100次调用）或最近T秒（如最近60秒）内的失败比例。
失败率阈值： 当窗口内失败请求占比超过该值时触发熔断，常见值为50%~80%。
最小请求数： 窗口内请求总数必须达到此值才计算失败率，防止少量请求导致误判。

2.3.2 超时（Timeout）

超时参数控制熔断器在打开状态停留的时间，即等待下游服务恢复的冷却期。

冷却时间： 熔断器进入打开状态后，必须等待该时长才允许进入半开状态，常见值为5~30秒。
超时策略： 超时结束后熔断器不会直接回到关闭状态，而是进入半开状态进行探测。
动态超时： 部分实现支持根据失败严重程度动态调整超时时间，失败越严重超时越长。

2.3.3 重试（Retry）

重试参数控制半开状态下允许通过的探测请求数量及成功判定条件。

探测请求数： 半开状态下允许放行的最大请求数，常见值为1~5个。
成功阈值： 探测请求中成功次数达到此值后熔断器关闭，常见值为全部成功或多数成功。
重试间隔： 若探测请求失败，熔断器回到打开状态并重新计时，而非立即再次探测。

参数类别	参数名称	推荐值范围	模型验证场景建议
阈值	滑动窗口大小	50 ~ 200 次请求	100次（平衡统计精度与响应速度）
阈值	失败率阈值	50% ~ 80%	60%（模型服务偶发波动容忍度）
阈值	最小请求数	5 ~ 20 次	10次（避免冷启动误判）
超时	冷却时间	5 ~ 60 秒	15秒（模型重启平均耗时）
重试	探测请求数	1 ~ 5 个	3个（兼顾恢复速度与安全）
重试	成功阈值	全部成功 / 多数成功	全部成功（严格恢复条件）

参数调优警告： 阈值设置过低会导致熔断器过于敏感，频繁打开影响验证吞吐；超时设置过短会导致下游未完全恢复就进入半开，引发反复熔断；探测请求数过多可能在下游脆弱时造成压力。建议在生产环境中通过灰度发布逐步调整参数。

2.4 状态转换与参数协同示例

以下代码片段展示了一个简化版熔断器的状态转换逻辑，使用伪代码说明核心参数如何驱动状态变更。

class CircuitBreaker:
    state = CLOSED
    failure_count = 0
    request_count = 0
    last_failure_time = 0

    # 核心参数
    WINDOW_SIZE = 100          # 滑动窗口大小
    FAILURE_THRESHOLD = 0.6    # 失败率阈值 60%
    MIN_REQUEST_COUNT = 10     # 最小请求数
    TIMEOUT_SECONDS = 15       # 冷却时间 15秒
    HALF_OPEN_MAX_REQUESTS = 3 # 探测请求数
    SUCCESS_THRESHOLD = 3      # 成功阈值

    def call(self, request):
        if self.state == OPEN:
            if time.now() - self.last_failure_time > TIMEOUT_SECONDS:
                self.state = HALF_OPEN
                self.half_open_success_count = 0
            else:
                return fallback_response()  # 快速失败

        if self.state == HALF_OPEN:
            if self.half_open_request_count >= HALF_OPEN_MAX_REQUESTS:
                return fallback_response()  # 探测请求已满
            self.half_open_request_count += 1

        response = send_to_model(request)

        if response.is_success():
            if self.state == HALF_OPEN:
                self.half_open_success_count += 1
                if self.half_open_success_count >= SUCCESS_THRESHOLD:
                    self.reset()  # 关闭熔断器
            self.record_success()
        else:
            self.record_failure()
            if self.state == HALF_OPEN:
                self.state = OPEN  # 探测失败回到打开
                self.last_failure_time = time.now()
            elif self.state == CLOSED:
                if self.is_failure_rate_exceeded():
                    self.state = OPEN
                    self.last_failure_time = time.now()

        return response

  代码要点： 关闭状态下持续统计失败率；打开状态下仅检查超时；半开状态下严格控制探测请求数量。每次状态转换都更新时间戳或计数器，确保参数生效。

2.5 参数配置策略总结

熔断器参数没有“万能配置”，需要根据模型服务的SLA、调用频率、恢复时间等因素动态调整。以下策略可供参考：

保守策略： 高阈值（80%）、长超时（30秒）、少探测（1个），适用于关键模型服务，宁可降级也不允许错误扩散。
激进策略： 低阈值（50%）、短超时（5秒）、多探测（5个），适用于高可用要求且能快速恢复的服务。
自适应策略： 根据历史失败模式动态调整阈值和超时，需要额外监控数据支撑。

在模型验证流程中，建议从保守策略开始，逐步观察熔断器触发频率和验证成功率，再向激进或自适应策略演进。