VIP20
本课程属于：028-模型风险管理API限流熔断 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

低延迟模型serving的Kafka限流实践

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
低延迟模型服务的挑战与Kafka限流…
课程导论Kafka
02
Kafka核心概念回顾
Topic · Partition · Consumer Group与Off…
Kafka核心概念回顾
03
低延迟模型服务架构
实时推理管道的典型数据流
低延迟模型服务架…实时推理管道的典…
04
为什么需要限流
背压 · 资源保护与SLA保障
为什么需要限流背压
05
Kafka原生限流机制
Quota与Throttle原理
Kafka原生限流机制
06
客户端级别限流
Producer与Consumer的…
客户端级别限流Producer
07
基于令牌桶算法的限流器设计与实现。
基于令牌桶算法的限流器设计与实现 · 核心概念 · 实践要点
基于令牌桶算法的…实现
08
基于漏桶算法的限流器设计与实现。
基于漏桶算法的限流器设计与实现 · 核心概念 · 实践要点
基于漏桶算法的限…实现
09
滑动窗口限流算法在Kafka消费端的应用。
滑动窗口限流算法在Kafka消费端的应用 · 核心概念 · 实践要点
Kafka滑动窗口限流算法
10
自适应限流
根据模型推理延迟动态调整消费速率
自适应限流根据模型推理延迟…
11
使用Kafka Consumer的pause/resume API实现精确限流。
使用Kafka Consumer的pau… · 核心概念 · 实践要点
KafkaConsumer
12
多分区并行消费场景下的全局限流策略。
多分区并行消费场景下的全局限流策略 · 核心概念 · 实践要点
多分区并行消费场…重点
13
基于消息优先级的限流
高优请求优先处理
基于消息优先级的…高优请求优先处理
14
限流与重试机制
指数退避与死信队列
限流重试机制
15
监控与度量
Prometheus + Grafa…
监控度量
16
限流配置的动态热更新
无需重启服务
限流配置的动态热…无需重启服务
17
实战
使用Spring Kafka实现基于…
SpringKafka
18
实战
基于Redis的分布式限流器与Kaf…
RedisKaf
19
实战
使用Envoy Sidecar对Ka…
EnvoySidecar
20
实战
基于gRPC的模型服务与Kafka限…
gRPCKafka
21
性能测试
使用kafka-producer-p…
性能测试kafka-produc…
22
限流参数调优
batch.size · linger.ms与max.poll…
限流参数调优batch.size
23
避免限流导致的饥饿问题
公平调度策略
避免限流导致的饥…公平调度策略
24
限流与弹性伸缩
结合Kubernetes HPA自动…
限流弹性伸缩
25
多租户场景下的租户级别限流隔离。
多租户场景下的租户级别限流隔离 · 核心概念 · 实践要点
多租户场景下的租…重点
26
限流异常处理
超时 · 熔断与降级
限流异常处理超时
27
日志与审计
记录限流事件用于事后分析
日志审计
28
最佳实践
低延迟模型服务限流Checklist
最佳实践Checklist
29
案例研究
某金融风控系统的Kafka限流实战
案例研究Kafka
30
课程总结与未来展望
AI推理与流处理的融合趋势
课程总结未来展望