VIP8
本课程属于：011-ONNX跨平台模型部署工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

ONNX模型CPU推理优化指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · ONNX模型CPU推理优化的重要性
课程导入学习目标
02
ONNX基础
ONNX格式介绍 · 模型结构 · 如何导出和加载ONNX模型
ONNX格式介绍
03
CPU推理基础
CPU架构 · 指令集 · 内存层次结构对推理性能的影响
CPU推理基础
04
性能分析工具
使用ONNX Runtime pro… · Intel VTune · perf等工具分析瓶颈
性能分析工具ONNX
05
ONNX Runtime优化
使用ONNX Runtime的CPU… · 图优化 · 线程设置
ONNXRuntime
06
模型优化
模型量化（INT8 · FP16） · 剪枝
模型优化INT8
07
算子优化
常见算子的优化策略 · 如卷积 · 矩阵乘法
算子优化常见算子的优化策…
08
内存优化
内存复用 · 减少拷贝 · 缓存友好性
内存优化内存复用
09
并行化
多线程 · OpenMP · MKL-DNN等并行库的使用
并行化多线程
10
批处理优化
动态批处理 · 静态批处理 · 批处理大小对性能的影响
批处理优化动态批处理
11
输入预处理优化
数据加载 · 归一化 · 图像变换的加速
输入预处理优化数据加载
12
推理引擎选择
比较ONNX Runtime · OpenVINO · TensorRT等在不同CPU上的表…
推理引擎选择ONNX
13
硬件特性利用
AVX-512 · VNNI · AMX等指令集的利用
硬件特性利用AVX-512
14
案例实战
图像分类模型（ResNet）的CPU…
案例实战ResNet
15
案例实战
目标检测模型（YOLO）的CPU推理…
案例实战YOLO
16
案例实战
自然语言处理模型（BERT）的CPU…
案例实战BERT
17
常见问题
推理速度慢 · 内存占用高 · 精度损失等问题的排查
常见问题推理速度慢
18
性能调优技巧
使用缓存 · 避免动态形状 · 减少图切分
性能调优技巧使用缓存
19
模型部署
将优化后的模型部署到生产环境 · 考虑延迟和吞吐量
模型部署将优化后的模型部…
20
基准测试
如何设计基准测试 · 评估指标（延迟 · 吞吐量
基准测试如何设计基准测试
21
深度学习编译器
TVM · MLIR等编译器在CPU优化中的应用
深度学习编译器TVM
22
混合精度推理
FP16与FP32的混合使用 · 以及CPU上的支持情况
混合精度推理FP16
23
稀疏性优化
稀疏模型推理 · 稀疏算子实现
稀疏性优化稀疏模型推理
24
动态形状处理
处理可变输入尺寸的策略
动态形状处理处理可变输入尺寸…
25
多模型推理
多模型并发推理的优化
多模型推理多模型并发推理的…
26
边缘设备优化
针对低功耗CPU的优化策略
边缘设备优化CPU
27
云服务器优化
针对多核CPU的优化策略
云服务器优化CPU
28
综合实战
从模型导出到优化部署的完整流程
综合实战从模型导出到优化…
29
前沿趋势
ONNX Runtime新特性 · CPU推理优化最新研究
前沿趋势ONNX
30
课程总结
核心要点回顾 · 学习路径建议 · 进一步学习资源
课程总结核心要点回顾