VIP20
本课程属于：028-模型风险管理API限流熔断 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

模型serving的限流熔断策略从入门到精通

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
限流熔断概述
为什么模型Serving需要限流与熔… · 核心概念与目标 · 与微服务限流的异同
限流熔断概述Serving
02
流量特征分析
模型推理请求的突发性 · 长尾延迟 · 资源消耗模式
流量特征分析模型推理请求的突…
03
限流基础算法(一)
固定窗口计数器算法原理 · 实现步骤 · 优缺点分析
限流基础算法固定窗口计数器算…
04
限流基础算法(二)
滑动窗口日志算法原理 · 内存优化技巧 · 精度与性能权衡
限流基础算法滑动窗口日志算法…
05
限流基础算法(三)
令牌桶算法原理 · 令牌生成速率与桶容量配置 · 突发流量处理
限流基础算法令牌桶算法原理
06
限流基础算法(四)
漏桶算法原理 · 平滑流出特性 · 与令牌桶的对比
限流基础算法漏桶算法原理
07
高级限流算法
自适应限流(Adaptive Con… · 基于TCP BBR思想的限流 · 基于机器学习的动态限流
高级限流算法Adaptive
08
分布式限流
集中式Redis/Lua限流 · 分布式令牌桶 · 一致性哈希限流
分布式限流Redis/Lua
09
熔断基础概念
熔断器三状态(Closed/Open… · 状态转换条件 · 熔断与限流的区别
熔断基础概念Closed/Open
10
熔断算法实现
基于错误率的熔断 · 基于延迟的熔断 · 基于并发量的熔断
熔断算法实现基于错误率的熔断
11
熔断恢复策略
Half-Open探针机制 · 渐进恢复 · 指数退避重试
熔断恢复策略Half-Open
12
熔断与重试的关系
幂等性保证 · 重试风暴预防 · 重试预算
熔断重试的关系
13
模型Serving特有挑战
GPU显存溢出保护 · 模型加载/卸载限流 · 推理超时熔断
Serving模型
14
限流熔断在推理框架中的集成
Triton Inference S… · TorchServe限流插件 · KServe熔断策略
限流熔断推理框架
15
基于队列的背压机制
有界队列 · 无界队列风险 · 队列长度与延迟关系
基于队列的背压机…有界队列
16
客户端侧限流
客户端令牌桶 · gRPC/HTTP拦截器 · 退避策略
客户端侧限流客户端令牌桶
17
熔断降级策略
降级到降精度模型 · 降级到缓存结果 · 降级到规则引擎
熔断降级策略降级到降精度模型
18
热点Key限流
模型ID/用户ID维度限流 · 本地缓存热点检测 · 分布式热点限流方案
Key热点
19
全局限流与租户隔离
多租户场景下的配额管理 · 公平调度 · 优先级队列
全局限流租户隔离
20
监控与可观测性
限流熔断指标(Metrics) · 日志结构化 · 链路追踪
监控可观测性
21
限流熔断配置管理
动态配置中心 · 热加载 · 配置版本管理
限流熔断配置管理动态配置
22
压测与容量规划
限流阈值如何确定 · 压测工具(如wrk/ghz/vege… · 容量模型建立
压测容量规划
23
实战案例一
基于Redis+令牌桶实现分布式限流… · 代码架构与核心逻辑
实战案例一Redis+
24
实战案例二
基于Resilience4j实现Ja… · 适配模型Serving场景
实战案例二Resilience4j
25
实战案例三
在Kubernetes上使用Envo… · 配置详解
实战案例三Kubernetes
26
实战案例四
基于Go实现高性能内存限流器 · 支持滑动窗口与令牌桶
实战案例四Go
27
性能优化
限流熔断对推理延迟的影响 · 零拷贝统计 · 无锁数据结构
性能优化限流熔断对推理延…
28
混沌工程与故障演练
注入延迟/错误验证熔断效果 · 限流准确性测试 · 恢复时间验证
混沌工程故障演练
29
业界方案对比
Google SRE限流 · Netflix Hystrix/Re… · Alibaba Sentinel
业界方案对比Google
30
未来趋势与总结
AI原生限流 · eBPF内核级限流 · Serverless场景限流
未来趋势AI