VIP20
本课程属于：028-模型风险管理API限流熔断 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

模型风险控制中的API流量整形教程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
什么是API流量整形 · 为什么在模型风控中至关重要 · 课程目标与学习路径
课程导论API
02
流量整形基础概念
令牌桶算法 · 漏桶算法 · 滑动窗口
流量整形基础概念令牌桶算法
03
模型风控场景分析
高并发推理请求 · 恶意攻击识别 · 资源隔离与优先级调度
模型风控场景分析高并发推理请求
04
令牌桶算法详解
原理 · 参数配置（速率 · 突发容量）
令牌桶算法详解原理
05
漏桶算法详解
原理 · 与令牌桶的对比 · 适用场景（平滑突发流量）
漏桶算法详解原理
06
滑动窗口算法
时间窗口计数 · 滑动日志 · 在限流中的精度与内存权衡
滑动窗口算法时间窗口计数
07
队列与背压机制
请求队列深度 · 拒绝策略（丢弃 · 重试
队列背压机制
08
API网关选型
Kong · Nginx · Envoy
API网关选型
09
Nginx限流配置实战
limit_req_zone · limit_conn_zone · burst与nodelay参数
Nginx限流配置实战
10
Kong插件配置
Rate Limiting插件 · Proxy Cache插件 · 自定义插件开发思路
Kong插件配置
11
Envoy流量管理
HTTP连接管理器 · 本地限流 · 全局限流（基于gRPC）
Envoy流量管理
12
APISIX限流限速
limit-req · limit-conn · limit-count插件配置与热更…
APISIX限流限速
13
模型推理服务限流
基于模型ID的限流 · 基于用户维度的限流 · 基于请求体大小的限流
模型推理服务限流ID
14
动态限流策略
根据模型负载 · GPU利用率 · 响应时间动态调整限流阈值
动态限流策略根据模型负载
15
优先级队列设计
高优用户请求 · 低优批量请求 · 模型预热请求的调度策略
优先级队列设计高优用户请求
16
熔断与降级
熔断器状态机（Closed/Open… · 降级响应（缓存 · 默认值）
熔断降级
17
重试与幂等性
重试风暴防护 · 指数退避算法 · 请求幂等性设计
重试幂等性
18
流量整形监控指标
QPS · 延迟P99 · 拒绝率
流量整形监控指标QPS
19
Prometheus与Grafana监控
指标暴露 · 告警规则 · 仪表盘设计
PrometheusGrafana
20
日志与审计
请求日志结构化 · 限流事件记录 · 审计追踪
日志审计
21
安全防护
DDoS攻击识别 · IP黑白名单 · User-Agent过滤
安全防护DDoS
22
多租户隔离
租户级配额管理 · 资源池划分 · 公平调度算法
多租户隔离租户级配额管理
23
分布式限流
Redis+Lua脚本实现分布式令牌… · Redis Cluster高可用方案
分布式限流Redis+Lua
24
一致性哈希与限流
基于一致性哈希的请求路由 · 避免热点限流偏差
一致性哈希限流
25
A/B测试与灰度发布
流量镜像 · 金丝雀发布 · 限流策略的灰度验证
A/B测试
26
成本控制
按模型推理成本定价 · 请求预算管理 · 超额费用告警
成本控制按模型推理成本定…
27
合规与SLA
API服务等级协议定义 · SLA违约补偿 · 合规审计要求
SLA合规
28
实战案例一
基于Nginx+Redis实现模型A…
实战案例一Nginx+Redis
29
实战案例二
基于Envoy+Prometheus…
实战案例二Envoy+Promet…
30
课程总结
流量整形最佳实践 · 常见陷阱 · 未来趋势（AI驱动的自适应限流）
课程总结流量整形最佳实践