1. 课程导论：降级熔断与性能调优的核心理念，Prometheus 在其中的角色
1.1 为什么需要降级与熔断？
在分布式系统中，单个组件的故障或延迟飙升往往会通过调用链传导，引发“雪崩效应”。熔断（Circuit Breaker）是一种快速失败机制：当错误率达到阈值时，断路器打开，后续请求直接返回降级结果，避免资源被无效占用。降级（Degradation）则是主动牺牲非核心功能或返回兜底数据，保障核心链路的可用性。
核心目标： 用有限的资源，在故障发生时维持系统最基本的服务能力，而不是让整个系统崩溃。
1.2 性能调优的指标驱动闭环
传统的性能调优依赖经验猜测，而现代 SRE 实践强调指标驱动。一个完整的调优闭环包含四个阶段：
- 观测（Observe）： 通过 Prometheus 采集延迟、错误率、吞吐量、饱和度等关键信号。
- 分析（Analyze）： 识别瓶颈是 CPU、内存、I/O 还是锁竞争。
- 决策（Decide）： 确定调优动作——扩容、优化代码、调整熔断阈值或缓存策略。
- 验证（Verify）： 对比调优前后的指标趋势，确认改进效果。
| 阶段 | 典型 Prometheus 指标 | 调优动作示例 |
|---|---|---|
| 观测 | http_request_duration_seconds |
发现 P99 延迟从 200ms 升至 2s |
| 分析 | process_cpu_seconds_total |
CPU 使用率已达 95%，确认瓶颈 |
| 决策 | circuit_breaker_state |
将熔断错误率阈值从 50% 下调至 30% |
| 验证 | up / scrape_duration_seconds |
确认错误率下降，系统恢复稳定 |
1.3 Prometheus 在降级熔断中的角色
Prometheus 不仅是监控工具，更是决策数据源。在降级熔断场景中，它承担三个关键角色：
- 信号采集器： 从应用、中间件、基础设施中拉取实时指标，如请求错误率、队列深度、GC 暂停时间。
- 阈值触发器： 通过
PromQL聚合计算（如rate(error_total[1m]) > 0.1），驱动熔断器状态切换。 - 调优验证器： 在调整熔断参数或降级策略后，通过对比时间序列趋势图确认效果。
实践要点： 不要只依赖默认的
up 指标。为每个熔断器暴露 circuit_breaker_state{name="xxx"} 和 circuit_breaker_requests_total，才能精确分析熔断行为。
1.4 熔断降级与性能调优的关系矩阵
熔断降级不是孤立的功能，它与性能调优存在双向影响：
| 场景 | 熔断降级动作 | 性能调优目标 | Prometheus 关键指标 |
|---|---|---|---|
| 数据库连接池耗尽 | 熔断数据库调用，返回缓存数据 | 降低连接等待时间，减少线程阻塞 | db_connections_used, db_query_duration_seconds |
| 下游服务超时 | 快速失败，返回降级响应 | 减少上游线程挂起，提升吞吐量 | http_client_requests_seconds, circuit_breaker_open_count |
| CPU 过载 | 降级非核心计算任务 | 释放 CPU 资源给核心请求 | process_cpu_seconds_total, go_goroutines |
| 内存压力 | 熔断大对象分配路径 | 减少 GC 频率，避免 OOM | go_memstats_heap_inuse_bytes, gc_duration_seconds |
常见误区： 熔断阈值设置过高（如错误率 90%）会导致熔断器几乎不触发，失去保护意义；设置过低（如 1%）则可能因瞬时抖动频繁熔断，造成服务降级过度。建议结合历史 P99 延迟和错误率基线，动态调整阈值。
1.5 课程核心收益
完成本课程后，你将能够：
- 设计基于 Prometheus 指标的熔断降级策略，避免雪崩。
- 使用 PromQL 编写精准的熔断触发条件，减少误判。
- 通过指标趋势分析定位性能瓶颈，并验证调优效果。
- 构建可观测的熔断降级作业模板，提升团队故障响应效率。
课前准备： 建议具备基础的 PromQL 语法知识（如
rate()、histogram_quantile()），并有一个可运行的 Prometheus 实例用于实验。