VIP20
本课程属于：018-AI DevOps实战：从代码到部署全自动化 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

多模型AI推理延迟优化与缓存策略

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 核心概念 · 整体框架
课程导入学习目标
02
AI推理基础
模型推理流程 · 延迟来源分析 · 性能指标
AI推理基础
03
多模型架构
多模型协同 · 模型路由 · 负载均衡
多模型架构多模型协同
04
延迟优化概述
优化目标 · 优化层次 · 常见方法
延迟优化概述优化目标
05
模型压缩技术
剪枝 · 量化 · 蒸馏及其对延迟的影响
模型压缩技术剪枝
06
推理引擎优化
TensorRT · ONNX Runtime · OpenVINO等
推理引擎优化TensorRT
07
批处理与并发
动态批处理 · 连续批处理 · 并发控制
批处理并发
08
硬件加速
GPU · TPU · FPGA
硬件加速GPU
09
缓存基础
缓存原理 · 缓存类型 · 缓存一致性
缓存基础缓存原理
10
缓存策略设计
LRU · LFU · FIFO等策略及适用场景
缓存策略设计LRU
11
语义缓存
基于嵌入的缓存 · 相似度匹配 · 缓存命中率提升
语义缓存基于嵌入的缓存
12
多级缓存
内存缓存 · 分布式缓存 · 持久化缓存
多级缓存内存缓存
13
缓存更新与失效
TTL · 主动失效 · 事件驱动更新
缓存更新失效
14
缓存与模型版本管理
版本切换 · 缓存隔离 · 灰度发布
缓存模型版本管理
15
推理服务架构
同步/异步 · 流式推理 · 微服务设计
推理服务架构同步
16
请求调度与优先级
队列管理 · 优先级策略 · 抢占机制
请求调度优先级
17
延迟优化实战
使用Profiling工具定位瓶颈
延迟优化实战Profiling
18
案例实战
图像分类模型推理优化
案例实战图像分类模型推理…
19
案例实战
自然语言处理模型推理优化
案例实战自然语言处理模型…
20
案例实战
推荐系统多模型推理优化
案例实战推荐系统多模型推…
21
常见问题与解决方案
缓存穿透 · 雪崩 · 击穿
常见问题解决方案
22
性能测试与基准
延迟 · 吞吐量 · 资源利用率评估
性能测试基准
23
监控与告警
指标采集 · 日志分析 · 可视化
监控告警
24
成本优化
延迟与成本权衡 · 弹性伸缩 · Spot实例
成本优化延迟
25
安全与隐私
模型保护 · 数据加密 · 缓存安全
安全隐私
26
前沿技术
模型并行 · 推理加速芯片 · 边缘计算
前沿技术模型并行
27
综合项目
设计一个低延迟多模型推理系统
综合项目设计一个低延迟多…
28
项目实战
实现缓存策略并评估效果
项目实战实现缓存策略并评…
29
项目实战
优化推理延迟并对比基线
项目实战优化推理延迟并对…
30
课程总结
知识回顾 · 最佳实践 · 未来趋势
课程总结知识回顾