VIP19
本课程属于：025-系统化实战技能 AI与大模型 · 共 19 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

模型推理加速与缓存策略实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 模型推理性能瓶颈概述
课程导入学习目标
02
推理基础
模型推理流程 · 延迟与吞吐量指标 · 性能分析工具
推理基础模型推理流程
03
硬件加速
GPU · TPU · NPU等硬件特性及加速原理
硬件加速GPU
04
模型优化
模型剪枝 · 量化 · 蒸馏等压缩技术
模型优化模型剪枝
05
算子优化
算子融合 · 内核调优 · 向量化等底层优化
算子优化算子融合
06
图优化
计算图优化 · 算子调度 · 内存规划
图优化计算图优化
07
推理框架
TensorRT · ONNX Runtime · OpenVINO等框架对比
推理框架TensorRT
08
缓存基础
缓存概念 · 缓存类型（内存 · 磁盘
缓存基础缓存概念
09
缓存策略
LRU · LFU · FIFO等缓存淘汰算法
缓存策略LRU
10
语义缓存
基于输入语义的缓存命中与相似度计算
语义缓存基于输入语义的缓…
11
结果缓存
针对确定性输出的缓存实现
结果缓存针对确定性输出的…
12
缓存与加速结合
缓存如何减少重复计算 · 提升响应速度
缓存加速结合
13
动态批处理
请求合并 · 动态batching策略
动态批处理请求合并
14
并发与异步
异步推理 · 并发控制 · 请求调度
并发异步
15
模型服务化
模型部署 · API设计 · 负载均衡
模型服务化模型部署
16
性能监控
监控指标 · 日志分析 · 性能瓶颈定位
性能监控监控指标
17
案例实战
图像分类模型推理加速与缓存
案例实战图像分类模型推理…
18
案例实战
NLP模型推理加速与缓存
案例实战NLP
19
案例实战
推荐系统模型推理加速与缓存
案例实战推荐系统模型推理…
20
常见问题
缓存失效 · 缓存穿透 · 缓存雪崩及解决方案
常见问题缓存失效
21
常见问题
模型量化精度损失 · 算子兼容性等
常见问题模型量化精度损失
22
性能调优
从系统层面到算法层面的调优方法论
性能调优从系统层面到算法…
23
基准测试
构建基准测试集 · 评估加速效果
基准测试构建基准测试集
24
成本优化
推理成本与缓存成本权衡
成本优化推理成本
25
安全与隐私
缓存数据安全 · 模型安全
安全隐私
26
前沿技术
模型并行 · 推理加速新趋势
前沿技术模型并行
27
综合实战
端到端推理系统设计与优化
综合实战端到端推理系统设…
28
综合实战
大规模推理集群缓存策略
综合实战大规模推理集群缓…
29
综合提升
设计高可用 · 高扩展的推理服务
综合提升设计高可用
30
课程总结
核心要点回顾 · 学习路径建议 · 未来展望
课程总结核心要点回顾