VIP20
本课程属于：028-模型风险管理API限流熔断 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

API限流熔断在模型发布中的实战应用

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
为什么模型发布需要限流与熔断？高并发…
课程导论为什么模型发布需…
02
限流基础概念
令牌桶 · 漏桶 · 计数器算法的原理与对比
限流基础概念令牌桶
03
熔断基础概念
熔断器三态（关闭 · 打开 · 半开）及状态转换机制
熔断基础概念熔断器三态
04
模型服务架构演进
从单体模型到微服务 · 限流熔断的引入位置
模型服务架构演进从单体模型到微服…
05
Python实现令牌桶限流
基于time和threading的简…
Python实现令牌桶限流
06
Python实现漏桶限流
基于队列和异步任务的漏桶代码实战
Python实现漏桶限流
07
Python实现滑动窗口限流
基于deque和时间戳的滑动窗口算法
Python实现滑动窗口限流
08
Python实现熔断器
状态机模式实现熔断器核心逻辑
Python实现熔断器
09
Flask模型API集成限流
使用装饰器为Flask端点添加限流功…
FlaskAPI
10
FastAPI模型API集成限流
基于依赖注入和中间件的限流实现
FastAPIAPI
11
Redis分布式限流
利用Redis INCR和EXPIR…
Redis分布式限流
12
Redis滑动窗口限流
使用Redis Sorted Set…
Redis滑动窗口限流
13
分布式熔断器设计
基于Redis或ZooKeeper的…
分布式熔断器设计Redis
14
Nginx层限流
使用limit_req和limit_…
Nginx层限流
15
API Gateway限流
Kong/APISIX网关配置限流插…
APIGateway
16
服务网格限流
Istio EnvoyFilter实…
服务网格限流Istio
17
模型推理超时与熔断
结合asyncio和concurre…
模型推理超时熔断
18
批量推理场景限流
动态调整batch size与请求队…
批量推理场景限流batch
19
模型版本灰度发布中的限流
金丝雀发布时按比例限流新旧模型
模型版本灰度发布限流
20
A/B测试与限流
为不同模型版本分配不同流量配额
A/B测试
21
熔断降级策略
返回缓存结果 · 默认值或降级模型的实现方案
熔断降级策略返回缓存结果
22
熔断恢复与半开探测
健康检查与渐进式恢复流量机制
熔断恢复半开探测
23
监控与告警
Prometheus + Grafa…
监控告警
24
日志与链路追踪
结合OpenTelemetry记录限…
日志链路追踪
25
压力测试与容量规划
使用Locust/JMeter验证限…
压力测试容量规划
26
常见问题与调优
限流精度 · 熔断抖动 · 参数调优经验
常见问题调优
27
案例实战1
基于Flask + Redis的模型…
案例实战1Flask
28
案例实战2
基于FastAPI + Redis…
案例实战2FastAPI
29
案例实战3
Kubernetes + Istio…
案例实战3Kubernetes
30
课程总结与最佳实践
限流熔断设计模式 · 选型建议与未来趋势
课程总结最佳实践