VIP20
本课程属于：028-ONNX模型部署与推理优化 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

ONNX模型批量推理优化案例

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · ONNX模型批量推理优化的重要性
课程导入学习目标
02
ONNX基础
ONNX格式介绍 · 模型导出与加载 · 运行时选择
ONNX格式介绍
03
批量推理概念
批量大小定义 · 批处理优势 · 动态形状与固定形状
批量推理概念批量大小定义
04
性能分析工具
使用ONNX Runtime pro… · TensorRT · PyTorch等工具分析瓶颈
性能分析工具ONNX
05
优化策略概览
图优化 · 算子融合 · 精度校准
优化策略概览图优化
06
环境搭建
安装ONNX Runtime · CUDA · TensorRT等依赖
环境搭建ONNX
07
模型准备
导出ONNX模型 · 验证正确性 · 简化模型结构
模型准备ONNX
08
批处理实现
使用ONNX Runtime Pyt… · 处理输入输出
批处理实现ONNX
09
动态批处理
实现动态batch size · 处理可变长度输入
动态批处理batch
10
内存优化
减少内存占用 · 使用内存池 · 复用缓冲区
内存优化减少内存占用
11
线程与并发
多线程推理 · 异步推理 · 并发控制
线程并发
12
GPU优化
利用TensorRT加速 · CUDA图 · 混合精度
GPU优化
13
CPU优化
使用OpenMP · MKL-DNN · 量化
CPU优化
14
量化技术
INT8量化 · 动态量化 · 量化感知训练
量化技术INT8
15
图优化
常量折叠 · 算子融合 · 冗余消除
图优化常量折叠
16
模型剪枝
结构化剪枝 · 非结构化剪枝 · 影响评估
模型剪枝结构化剪枝
17
知识蒸馏
教师-学生模型 · 蒸馏损失 · 效果评估
知识蒸馏教师
18
案例实战
图像分类模型批量推理优化
案例实战图像分类模型批量…
19
案例实战
目标检测模型批量推理优化
案例实战目标检测模型批量…
20
案例实战
自然语言处理模型批量推理优化
案例实战自然语言处理模型…
21
性能基准测试
设计基准测试 · 评估指标 · 对比分析
性能基准测试设计基准测试
22
常见问题与调试
推理错误 · 性能下降 · 内存泄漏
常见问题调试
23
部署集成
将优化后的模型集成到服务中 · 处理高并发
部署集成将优化后的模型集…
24
云服务优化
利用云GPU实例 · 自动扩展 · 负载均衡
云服务优化GPU
25
边缘设备优化
针对移动端和嵌入式设备的优化技巧
边缘设备优化针对移动端
26
模型版本管理
模型版本控制 · 回滚策略 · A/B测试
模型版本管理模型版本控制
27
监控与日志
推理延迟监控 · 吞吐量监控 · 错误日志
监控日志
28
安全与隐私
模型加密 · 输入验证 · 防止攻击
安全隐私
29
综合项目
端到端批量推理系统设计与优化
综合项目端到端批量推理系…
30
课程总结
关键要点回顾 · 最佳实践 · 未来趋势
课程总结关键要点回顾