VIP20
本课程属于：028-模型风险管理API限流熔断 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

低延迟模型API的限流熔断优化方法

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
限流熔断概述
为什么模型API需要限流与熔断 · 核心概念与目标 · 低延迟场景下的挑战
限流熔断概述API
02
常见限流算法
令牌桶算法原理 · 漏桶算法原理 · 滑动窗口算法原理
常见限流算法令牌桶算法原理
03
令牌桶算法详解
算法数学模型 · 参数配置（速率 · 容量）
令牌桶算法详解算法数学模型
04
漏桶算法详解
算法数学模型 · 与令牌桶的对比 · 适用场景（平滑突发流量）
漏桶算法详解算法数学模型
05
滑动窗口算法详解
窗口大小与精度 · 内存开销优化 · 在分布式限流中的应用
滑动窗口算法详解窗口大小
06
计数器算法详解
固定窗口计数器 · 临界问题 · 改进方案（滑动窗口计数器）
计数器算法详解固定窗口计数器
07
分布式限流方案
Redis+Lua脚本实现 · 一致性哈希分片 · 全局与局部限流
分布式限流方案Redis+Lua
08
熔断器模式
熔断器三种状态（Closed/Ope… · 状态转换机制 · 熔断阈值设置
熔断器模式Closed/Ope
09
熔断器实现策略
基于错误率熔断 · 基于延迟熔断 · 基于并发数熔断
熔断器实现策略基于错误率熔断
10
熔断器与限流的协同
限流在前 · 熔断在后的架构设计 · 避免级联故障
熔断器限流的协同
11
低延迟场景下的限流优化
减少锁竞争 · 无锁限流算法 · CPU缓存友好设计
低延迟场景下的限…减少锁竞争
12
基于时间轮的限流器
时间轮原理 · 在毫秒级限流中的应用 · 内存与性能权衡
基于时间轮的限流…时间轮原理
13
自适应限流算法
基于系统负载的动态限流 · TCP Vegas启发 · PID控制器应用
自适应限流算法基于系统负载的动…
14
排队与优先级限流
请求优先级队列 · 饥饿避免 · 低延迟请求的快速通道
排队优先级限流
15
预热与冷启动限流
模型API冷启动问题 · 预热速率控制 · 渐进式限流
预热冷启动限流
16
熔断恢复策略
指数退避重试 · 渐进恢复 · 半开状态探测频率控制
熔断恢复策略指数退避重试
17
熔断器与重试机制
幂等性保证 · 重试风暴预防 · 最大重试次数限制
熔断器重试机制
18
限流熔断的监控与告警
关键指标（QPS · 延迟 · 错误率
限流熔断的监控告警
19
限流熔断的测试方法
混沌工程 · 故障注入 · 压力测试与基准测试
限流熔断的测试方…混沌工程
20
基于gRPC的限流熔断
gRPC拦截器实现 · 流式RPC限流 · 与HTTP/2的兼容性
gRPC基于
21
基于Envoy的限流熔断
Envoy全局限流 · 熔断配置 · 与模型API的集成
Envoy基于
22
基于Istio的限流熔断
服务网格限流 · 熔断策略 · 与Kubernetes的协同
Istio基于
23
基于Redis的分布式限流实战
Lua脚本原子操作 · 滑动窗口实现 · 性能优化
Redis基于
24
基于Sentinel的限流熔断
Sentinel核心概念 · 规则配置 · 与Spring Cloud集成
Sentinel基于
25
基于Hystrix的限流熔断
Hystrix线程池隔离 · 信号量隔离 · 熔断配置
Hystrix基于
26
基于Resilience4j的限流熔断
轻量级库 · 函数式编程 · 与Reactor集成
Resilience4j基于
27
模型API特有的限流策略
按模型版本限流 · 按用户等级限流 · 按请求复杂度限流
API模型
28
限流熔断的容量规划
峰值流量预估 · 资源预留 · 弹性伸缩策略
限流熔断的容量规…峰值流量预估
29
限流熔断的实战案例
某AI平台API网关限流熔断架构 · 性能对比数据
限流熔断的实战案…AI
30
未来趋势与总结
AI原生限流 · eBPF技术应用 · Serverless限流
未来趋势AI