VIP20
本课程属于：028-模型风险管理API限流熔断 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

模型serving限流熔断的监控告警教程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
模型服务面临的高并发挑战 · 限流熔断监控告警的重要性 · 课程目标与学习路径
课程导论模型服务面临的高…
02
限流基础概念
什么是限流 · 限流的目的与作用 · 常见限流场景（API调用
限流基础概念什么是限流
03
限流算法（上）
固定窗口计数器算法原理 · 滑动窗口计数器算法原理 · 算法对比与适用场景
限流算法固定窗口计数器算…
04
限流算法（中）
漏桶算法原理 · 令牌桶算法原理 · 两种算法的优缺点与选型建议
限流算法漏桶算法原理
05
限流算法（下）
自适应限流算法（如TCP BBR启发… · 基于机器学习的动态限流 · 算法选型决策树
限流算法TCP
06
熔断基础概念
什么是熔断 · 熔断与限流的区别 · 熔断的三种状态（Closed/Ope…
熔断基础概念什么是熔断
07
熔断算法与策略
基于错误率的熔断 · 基于延迟的熔断 · 基于并发量的熔断
熔断算法策略
08
熔断恢复机制
熔断后的降级策略 · 渐进恢复与快速恢复 · 熔断窗口大小与抖动控制
熔断恢复机制熔断后的降级策略
09
监控基础概念
监控的四个黄金信号（延迟 · 流量 · 错误
监控基础概念监控的四个黄金信…
10
监控指标设计
模型服务关键指标（QPS · TP99延迟 · GPU利用率
监控指标设计QPS
11
告警基础概念
告警的级别（P0-P4） · 告警的触发条件 · 告警的沉默与聚合
告警基础概念P0-P4
12
告警规则设计
基于阈值的告警 · 基于趋势的告警 · 基于异常检测的告警
告警规则设计基于阈值的告警
13
限流熔断监控告警整体架构
数据采集层 · 数据处理层 · 存储层
限流熔断监控告警…数据采集层
14
数据采集技术
Prometheus Exporte… · 自定义Metrics暴露 · 日志采集（Fluentd/Fileb…
数据采集技术Prometheus
15
数据存储与查询
Prometheus TSDB · VictoriaMetrics · Elasticsearch
数据存储查询
16
可视化与仪表盘
Grafana面板设计原则 · 模型服务专用Dashboard模板 · SLO/SLI可视化
可视化仪表盘
17
告警引擎与通知
Alertmanager配置 · 告警路由与分组 · 通知渠道（钉钉/企业微信/Slack…
告警引擎通知
18
限流熔断框架选型
Sentinel（Java/Go） · Resilience4j · Hystrix对比
限流熔断框架选型Sentinel
19
模型服务限流实战（上）
基于令牌桶的API限流实现（Pyth…
模型服务限流实战API
20
模型服务限流实战（下）
基于Sentinel Go的分布式限… · Redis实现全局计数器限流
模型服务限流实战Sentinel
21
模型服务熔断实战
基于Resilience4j的熔断器… · 自定义熔断策略（错误率+延迟）
模型服务熔断实战Resilience4j
22
模型服务监控实战
Prometheus + Grafa… · GPU指标采集（DCGM Expor…
模型服务监控实战Prometheus
23
模型服务告警实战
Alertmanager配置模型服务… · 告警模板与动态路由
模型服务告警实战Alertmanager
24
全链路压测与验证
压测工具（wrk/vegeta/Lo… · 限流熔断效果验证 · 监控告警触发测试
全链路压测验证
25
高可用部署架构
多副本限流熔断 · 异地多活场景下的限流同步 · 全局与局部限流策略
高可用部署架构多副本限流熔断
26
容量规划与动态限流
基于历史数据的容量预估 · 自动扩缩容与限流阈值联动 · HPA与VPA
容量规划动态限流
27
故障演练与混沌工程
混沌工程原则 · 模型服务故障注入（延迟/错误/资源耗… · 演练复盘
故障演练混沌工程
28
最佳实践与案例（上）
大语言模型API服务的限流熔断方案 · 推荐系统实时推理的监控告警
最佳实践案例
29
最佳实践与案例（下）
计算机视觉模型服务的GPU资源监控 · 金融风控模型的高可用保障
最佳实践案例
30
课程总结与展望
限流熔断监控告警的未来趋势 · AI运维（AIOps）与智能告警 · 持续学习资源推荐
课程总结限流熔断监控告警…