VIP20
本课程属于：028-模型风险管理API限流熔断 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

模型服务API限流策略从入门到精通

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
限流概念入门
什么是API限流 · 为什么需要限流 · 限流在模型服务中的重要性
限流概念入门API
02
限流核心指标
QPS · TPS · 并发数
限流核心指标QPS
03
常见限流算法（上）
固定窗口计数器算法原理 · 实现 · 优缺点
常见限流算法固定窗口计数器算…
04
常见限流算法（中）
滑动窗口日志算法原理 · 实现 · 优缺点
常见限流算法滑动窗口日志算法…
05
常见限流算法（下）
漏桶算法原理 · 实现 · 优缺点
常见限流算法漏桶算法原理
06
令牌桶算法详解
令牌桶原理 · 参数配置 · 与漏桶对比
令牌桶算法详解令牌桶原理
07
分布式限流基础
单机限流 vs 分布式限流 · 分布式限流的挑战
分布式限流基础vs
08
分布式限流实现方案
Redis+Lua脚本实现分布式令牌…
分布式限流实现方…Redis+Lua
09
分布式限流进阶
基于Sentinel的分布式限流 · 基于Nginx+Lua的限流
分布式限流进阶Sentinel
10
限流策略设计原则
公平性 · 突发处理 · 资源隔离
限流策略设计原则公平性
11
用户级限流
按API Key/用户ID进行限流 · 配额管理
用户级限流API
12
接口级限流
按不同模型接口（如GPT-4 · GPT-3.5）分别限流
接口级限流GPT-4
13
层级限流架构
全局限流 · 租户限流 · 接口限流三层架构设计
层级限流架构全局限流
14
限流与熔断的关系
熔断机制原理 · 半开状态 · 与限流的协同工作
限流熔断的关系
15
限流与降级的关系
降级策略（返回默认值 · 缓存 · 排队）
限流降级的关系
16
限流与重试机制
重试风暴问题 · 指数退避 · jitter抖动策略
限流重试机制
17
限流与排队机制
请求排队 · 优先级队列 · 超时处理
限流排队机制
18
限流监控与告警
限流指标采集 · Prometheus+Grafana… · 告警规则
限流监控告警
19
限流配置动态化
配置中心（Apollo/Nacos） · 热更新限流规则
限流配置动态化Apollo/Nacos
20
限流测试方法
压测工具（wrk · JMeter） · 限流效果验证
限流测试方法wrk
21
限流在AI模型服务中的特殊挑战
长文本推理 · 流式输出 · Token级限流
AI限流
22
Token级限流
按输入输出Token数进行限流 · 与QPS限流的结合
Token级限流
23
流式输出限流
SSE/WebSocket场景下的限… · 背压机制
流式输出限流SSE/WebSocke…
24
模型服务限流实战（上）
基于Go/Gin实现令牌桶中间件
模型服务限流实战Go/Gin
25
模型服务限流实战（中）
基于Python/FastAPI实现…
模型服务限流实战Python/FastA…
26
模型服务限流实战（下）
基于Kong/APISIX网关实现限…
模型服务限流实战Kong/APISIX
27
限流最佳实践（上）
常见限流误区 · 过度限流问题 · 限流参数调优
限流最佳实践常见限流误区
28
限流最佳实践（下）
多维度限流组合 · 限流白名单 · 限流降级联动
限流最佳实践多维度限流组合
29
限流案例分析
OpenAI API限流策略分析 · Azure OpenAI限流机制
限流案例分析OpenAI
30
限流未来趋势
AI驱动的自适应限流 · 基于成本/利润的限流 · Serverless限流
限流未来趋势AI