VIP20
本课程属于：044-金融压力测试API限流熔断 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

金融压力测试中model serving的限流熔断方案

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
金融压力测试背景 · 模型服务面临的挑战 · 限流熔断的必要性
课程导论金融压力测试背景
02
核心概念
限流（Rate Limiting）定… · 熔断（Circuit Breaker… · 两者区别与联系
核心概念Rate
03
压力测试场景
高并发请求 · 突发流量 · 下游依赖故障
压力测试场景高并发请求
04
限流算法（一）
固定窗口计数器算法原理 · 优缺点 · 适用场景
限流算法固定窗口计数器算…
05
限流算法（二）
滑动窗口日志算法原理 · 内存开销分析 · 适用场景
限流算法滑动窗口日志算法…
06
限流算法（三）
滑动窗口计数器算法原理 · 精度与性能权衡
限流算法滑动窗口计数器算…
07
限流算法（四）
令牌桶算法原理 · 突发处理能力 · 参数配置
限流算法令牌桶算法原理
08
限流算法（五）
漏桶算法原理 · 平滑流量 · 与令牌桶对比
限流算法漏桶算法原理
09
限流算法（六）
自适应限流算法原理 · 基于CPU/负载的动态调整
限流算法自适应限流算法原…
10
熔断状态机
关闭状态 · 打开状态 · 半开状态
熔断状态机关闭状态
11
熔断策略
基于错误率 · 基于慢调用比例 · 基于并发数
熔断策略基于错误率
12
熔断恢复机制
半开探针 · 渐进恢复 · 全量恢复
熔断恢复机制半开探针
13
模型服务架构
同步推理 · 异步推理 · 批处理推理
模型服务架构同步推理
14
限流在模型服务中的实现
API网关层限流 · 服务端限流 · 客户端限流
限流模型服务
15
熔断在模型服务中的实现
调用链熔断 · 依赖隔离 · 降级返回
熔断模型服务
16
压力测试工具
Locust · JMeter · wrk
压力测试工具Locust
17
压测指标
QPS · TPS · P99延迟
压测指标QPS
18
限流配置实战
基于令牌桶的QPS限流配置示例（Py…
限流配置实战QPS
19
熔断配置实战
基于错误率的熔断配置示例（Pytho…
熔断配置实战Pytho
20
集成方案
限流+熔断协同工作流程 · 优先级策略
集成方案限流+熔断协同工…
21
监控与告警
Prometheus指标暴露 · Grafana看板 · 告警规则
监控告警
22
动态配置
基于配置中心的限流熔断参数热更新
动态配置基于配置
23
多租户场景
按用户/API Key/模型维度的限…
多租户场景API
24
分布式限流
Redis+Lua脚本实现全局计数器 · 令牌桶
分布式限流Redis+Lua
25
分布式熔断
基于Redis的集群熔断状态共享
分布式熔断Redis
26
降级策略
缓存降级 · 默认值降级 · 静默拒绝
降级策略缓存降级
27
混沌工程
注入延迟 · 异常 · 资源耗尽
混沌工程注入延迟
28
最佳实践
配置阈值建议 · 避免雪崩 · 优雅降级
最佳实践配置阈值建议
29
案例复盘
某金融模型服务压测事故分析 · 限流熔断优化过程
案例复盘某金融模型服务压…
30
课程总结
核心要点回顾 · 未来趋势（AI驱动的自适应限流）
课程总结核心要点回顾