VIP20
本课程属于：028-模型风险管理API限流熔断 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

模型serving层限流熔断设计方法

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
模型Serving层面临的流量挑战 · 限流与熔断的核心价值 · 课程目标与学习路径
课程导论Serving
02
核心概念
限流（Rate Limiting）定… · 熔断（Circuit Breaker… · 降级（Degradation）与隔离…
核心概念Rate
03
限流算法（上）
固定窗口计数器算法原理 · 滑动窗口日志算法原理 · 滑动窗口计数器算法原理
限流算法固定窗口计数器算…
04
限流算法（中）
漏桶算法（Leaky Bucket）… · 令牌桶算法（Token Bucket…
限流算法Leaky
05
限流算法（下）
自适应限流（Adaptive Con… · 基于机器学习的动态限流 · 算法对比与选型指南
限流算法Adaptive
06
熔断机制原理
熔断器三状态（Closed/Open… · 状态转换条件 · 熔断恢复策略
熔断机制原理Closed/Open
07
熔断算法详解
基于错误率的熔断 · 基于慢调用比例的熔断 · 基于并发数的熔断
熔断算法详解基于错误率的熔断
08
熔断进阶
半开状态探测策略 · 熔断粒度（接口级/实例级/集群级） · 熔断与重试的协同
熔断进阶半开状态探测策略
09
降级策略
静默降级 · 返回默认值 · 缓存降级
降级策略静默降级
10
隔离机制
线程池隔离 · 信号量隔离 · 舱壁模式（Bulkhead Patt…
隔离机制线程池隔离
11
模型Serving层特性
模型推理的延迟敏感性 · GPU资源争抢 · 批处理（Batching）对限流的影…
Serving模型
12
请求排队与背压
请求队列设计 · 背压（Backpressure）机制 · 队列长度与超时策略
请求排队背压
13
分布式限流
集中式限流（Redis/Etcd） · 分布式令牌桶 · 全局与本地限流结合
分布式限流Redis/Etcd
14
限流熔断配置中心
动态配置下发 · 配置热更新 · 配置版本管理
限流熔断配置动态配置下发
15
监控与指标
关键指标（QPS · 延迟P99 · 错误率
监控指标
16
告警与自愈
告警规则设计 · 自动熔断触发 · 自动恢复策略
告警自愈
17
主流框架对比（上）
Hystrix 核心原理与配置 · Resilience4j 核心原理与…
主流框架对比Hystrix
18
主流框架对比（下）
Sentinel 核心原理与配置 · Envoy 限流熔断 · 框架选型建议
主流框架对比Sentinel
19
实战案例一
基于令牌桶的模型API限流（Pyth…
实战案例一API
20
实战案例二
基于Resilience4j的Jav…
实战案例二Resilience4j
21
实战案例三
Kubernetes + Envoy…
实战案例三Kubernetes
22
实战案例四
大规模模型Serving集群的分布式…
实战案例四Serving
23
压测与验证
压测工具（wrk/Locust/Ve… · 限流效果验证 · 熔断恢复验证
压测验证
24
性能优化
限流熔断组件对延迟的影响 · 零拷贝与无锁设计 · 异步非阻塞模型
性能优化限流熔断组件对延…
25
安全与防滥用
DDoS防护 · API Key限流 · 用户级别限流
安全防滥用
26
多租户场景
租户隔离 · 租户配额管理 · 公平调度与优先级队列
多租户场景租户隔离
27
混沌工程
故障注入测试 · 熔断效果混沌实验 · 限流组件健壮性验证
混沌工程故障注入测试
28
最佳实践
限流阈值设定方法论 · 熔断参数调优 · 常见踩坑与规避
最佳实践限流阈值设定方法…
29
未来趋势
AI驱动的自适应限流 · eBPF在限流中的应用 · Serverless场景下的限流挑战
未来趋势AI
30
课程总结
核心知识回顾 · 架构设计决策树 · 推荐阅读与社区资源
课程总结核心知识回顾