1. 课程导论：模型 Serving 层面临的流量挑战、限流与熔断的核心价值、课程目标与学习路径
1.1 模型 Serving 层面临的流量挑战
在生产环境中，模型推理服务（Serving 层）处于在线业务流量的关键路径上。与传统的微服务相比，模型推理具有 计算密集、资源消耗大、响应时间敏感 的特点，这使得其面临的流量挑战更为严峻。
| 挑战维度 | 具体表现 | 典型后果 |
|---|---|---|
| 流量突发 | 促销活动、热点事件、API 调用方重试风暴导致 QPS 瞬间飙升数倍 | GPU/CPU 资源耗尽，请求排队超时，服务雪崩 |
| 长尾延迟 | 部分请求因模型复杂度、输入长度或资源争抢导致推理耗时剧增 | 阻塞后续请求，整体 P99 延迟恶化，SLA 违约 |
| 资源异构性 | 不同模型（LLM、CV、推荐）对显存、算力需求差异巨大 | 资源碎片化，部分节点过载而部分节点空闲 |
| 级联故障 | 上游服务或下游存储抖动，引发调用链连锁反应 | 局部故障扩散至整个推理集群，大面积不可用 |
核心矛盾： 模型推理的“高成本、低弹性”与在线流量的“高波动、不可预测”之间的冲突，是 Serving 层架构设计的根本驱动力。
1.2 限流与熔断的核心价值
限流（Rate Limiting）与熔断（Circuit Breaking）是保障 Serving 层稳定性的两大基石。它们不是可选项，而是生产环境的必选项。
- 限流（Rate Limiting）： 主动控制进入系统的请求速率，防止流量超过服务容量上限。核心价值在于 “削峰填谷”，确保服务在安全水位下运行。
- 熔断（Circuit Breaking）： 被动检测下游或自身的故障状态，当错误率达到阈值时快速切断流量，防止故障蔓延。核心价值在于 “快速失败” 和 “自动恢复”。
两者的协同关系可以用下表概括：
| 机制 | 作用时机 | 目标 | 典型触发条件 |
|---|---|---|---|
| 限流 | 请求进入服务前（入口层） | 预防过载 | QPS 超过阈值、并发数超过限制 |
| 熔断 | 请求处理过程中（调用链） | 隔离故障 | 错误率过高、延迟超时、连续失败 |
设计原则： 限流是“防守”，熔断是“止损”。在模型 Serving 层，两者必须配合使用：限流防止系统被压垮，熔断防止系统被拖垮。
1.3 课程目标与学习路径
本课程旨在帮助学员系统掌握模型 Serving 层限流与熔断的设计方法，从理论到实践，构建生产级的稳定性保障体系。
课程目标
- 理解原理： 掌握限流（令牌桶、漏桶、滑动窗口）与熔断（状态机、半开探测）的核心算法与适用场景。
- 掌握设计： 学会针对不同模型类型（LLM、CV、推荐）设计合理的限流策略与熔断阈值。
- 落地实践： 基于主流框架（如 Envoy、Sentinel、Resilience4j）实现 Serving 层的限流熔断组件。
- 调优运维： 掌握指标监控、动态调参、压测验证等运维方法，确保系统长期稳定运行。
学习路径
课程分为五个模块，建议按顺序学习：
| 模块 | 章节范围 | 核心内容 |
|---|---|---|
| 基础篇 | 第 1-4 章 | 流量挑战分析、限流熔断原理、算法详解 |
| 设计篇 | 第 5-10 章 | 限流策略设计、熔断阈值设定、自适应算法 |
| 实践篇 | 第 11-18 章 | Envoy/Sentinel 实战、LLM 场景专项、压测与调优 |
| 进阶篇 | 第 19-25 章 | 分布式限流、全链路熔断、AI 驱动的智能防护 |
| 总结篇 | 第 26-30 章 | 案例复盘、最佳实践、面试指南 |
学习建议： 每章结束后，建议动手完成配套的实验代码或配置练习。限流熔断是“实践出真知”的领域，仅靠理论无法应对生产环境的复杂性。