VIP20
本课程属于：006-ONNX Runtime端侧推理部署 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

ONNX Runtime模型预热与推理延迟优化课程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 适用人群 · 课程整体框架与学习路径
课程导入学习目标
02
ONNX Runtime基础
ONNX格式简介 · ONNX Runtime架构 · 安装与基本推理流程
ONNXRuntime
03
推理延迟的构成
模型加载 · 图优化 · 内存分配
推理延迟的构成模型加载
04
模型预热概念
什么是模型预热 · 为什么需要预热 · 预热对延迟的影响机制
模型预热概念什么是模型预热
05
首次推理延迟问题
首次推理为何慢 · JIT编译 · 内存分配
首次推理延迟问题首次推理为何慢
06
预热方法概览
静态预热 · 动态预热 · 批量预热
预热方法概览静态预热
07
ONNX Runtime会话配置
SessionOptions关键参数… · 优化级别 · 内存模式）对延迟的影响
ONNXRuntime
08
图优化与级别
ORT图优化级别（OR_DISABL… · OR_ENABLE_BASIC · OR_ENABLE_EXTENDED…
图优化级别
09
执行模式选择
顺序执行与并行执行（Executio…
执行模式选择Executio
10
线程池配置
CPU线程池 · IO线程池 · 线程亲和性设置与推理延迟调优
线程池配置CPU
11
内存优化
arena分配器 · 内存复用 · 减少内存拷贝的实践
内存优化arena
12
模型输入输出绑定
使用OrtValue绑定输入输出 · 避免数据转换开销
模型输入输出绑定OrtValue
13
预热实现基础
使用Python API进行模型预热…
预热实现基础Python
14
预热数据选择
如何选择代表性输入数据（形状 · 数值范围）以触发完整图优化
预热数据选择如何选择代表性输…
15
预热次数与时机
预热次数如何确定 · 在服务启动时还是请求前预热 · 异步预热策略
预热次数时机
16
多模型与多会话预热
多个模型或会话的预热顺序与资源竞争处…
多模型多会话预热
17
动态形状处理
动态轴对预热的影响 · 如何用固定形状或范围进行预热
动态形状处理动态轴对预热的影…
18
量化模型预热
INT8/FP16等量化模型的预热注…
量化模型预热INT8/FP16
19
GPU推理预热
CUDA执行提供程序 · TensorRT集成 · GPU内存预热与延迟优化
GPU推理预热
20
CPU推理预热
MKLDNN/OpenMP等后端优化 · CPU指令集对预热的影响
CPU推理预热
21
延迟测量与基准测试
使用timeit · ONNX Runtime profi… · perfetto等测量推理延迟
延迟测量基准测试
22
性能分析工具
ONNX Runtime Profi… · TensorBoard · py-spy等定位延迟瓶颈
性能分析工具ONNX
23
常见预热陷阱
预热不充分 · 数据不匹配 · 线程池未激活
常见预热陷阱预热不充分
24
案例实战
图像分类模型（ResNet50）的预…
案例实战ResNet50
25
案例实战
NLP模型（BERT）的预热与延迟优… · 包括tokenization与动态输…
案例实战NLP
26
案例实战
目标检测模型（YOLO）的预热与后处…
案例实战YOLO
27
服务化部署中的预热
在Flask/FastAPI/ONN…
服务化部署预热
28
性能对比与调优
预热前后延迟对比 · 不同配置组合的A/B测试方法
性能对比调优
29
综合项目
构建一个低延迟推理服务 · 包含预热 · 优化
综合项目构建一个低延迟推…
30
课程总结与进阶
核心要点回顾 · 常见问题速查 · 进一步学习资源与社区生态
课程总结进阶