VIP20
本课程属于：032-Edge AI OpenVINO部署优化 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

OpenVINO推理请求队列与异步执行优化

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · OpenVINO推理性能优化全景图
课程导入学习目标
02
OpenVINO推理基础
模型加载 · 编译选项 · 推理请求（InferRequest）…
OpenVINO推理基础
03
同步推理与异步推理
同步API的阻塞行为 · 异步API的非阻塞机制及适用场景
同步推理异步推理
04
推理请求队列原理
队列的作用 · 任务调度 · 请求状态机（IDLE
推理请求队列原理队列的作用
05
异步执行核心API
AsyncInferQueue的创建 · 启动 · 等待
API异步执行核心
06
队列深度与并发控制
如何设置队列大小 · 控制并发推理数量 · 避免资源竞争
队列深度并发控制
07
回调机制详解
回调函数签名 · 参数传递 · 在回调中获取结果与错误处理
回调机制详解回调函数签名
08
多设备与异构执行
在异步队列中配置多设备 · HETERO插件 · 优先级调度
多设备异构执行
09
性能分析工具
使用OpenVINO的benchma… · 性能剖析工具定位瓶颈
性能分析工具OpenVINO
10
吞吐量与延迟权衡
理解吞吐量优先与延迟优先的配置策略及…
吞吐量延迟权衡
11
批处理与动态形状
在异步队列中启用批处理 · 动态形状对队列调度的影响
批处理动态形状
12
内存与资源管理
异步队列中的内存复用 · 显存/内存占用优化技巧
内存资源管理
13
实战案例一
图像分类服务——使用AsyncInf…
实战案例一AsyncInf
14
实战案例二
视频流处理——多路视频帧异步推理与结…
实战案例二视频流处理
15
实战案例三
实时目标检测——结合队列与回调实现低…
实战案例三实时目标检测
16
实战案例四
自然语言处理——Transforme…
实战案例四Transforme
17
常见问题一
队列溢出与任务丢失的排查与解决
常见问题一队列溢出
18
常见问题二
回调中执行耗时操作导致性能下降的优化…
常见问题二回调
19
常见问题三
多线程环境下队列使用的线程安全与数据…
常见问题三多线程环境下队列…
20
常见问题四
异步推理结果乱序的处理策略与排序方法
常见问题四异步推理结果乱序…
21
性能调优方法论
从需求分析到配置选择 · 测试迭代的完整流程
性能调优方法论从需求分析到配置…
22
高级技巧
使用多个队列 · 优先级队列 · 自定义调度策略
高级技巧使用多个队列
23
与推理引擎集成
将异步队列集成到TensorFlow…
推理引擎集成TensorFlow
24
部署与运维
在Docker · Kubernetes环境中部署异步推…
部署运维
25
监控与日志
记录队列状态 · 推理耗时 · 吞吐量指标
监控日志
26
对比分析
OpenVINO异步队列与其他推理框… · ONNX Runtime）的对比
对比分析OpenVINO
27
最佳实践总结
设计模式 · 代码结构 · 错误处理
最佳实践总结设计模式
28
综合实战项目
构建一个完整的异步推理服务 · 包含队列 · 回调
综合实战项目构建一个完整的异…
29
课程测验与评估
核心概念测试 · 代码调试练习 · 性能优化挑战
课程测验评估
30
课程总结与进阶路径
回顾关键知识点 · 推荐学习资源 · 未来发展方向
课程总结进阶路径