VIP20

本课程属于：030-Intel Edge AI与OpenVINO部署优化 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

12. OpenVINO异步推理：Infer Request队列与吞吐优化

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

了解异步推理在OpenVINO中的重… · 明确学习目标 · 适用场景和整体课程框架

课程导入OpenVINO

同步推理与异步推理

对比同步推理和异步推理的执行流程 · 性能差异及适用场景 · 理解异步推理的核心价值

同步推理异步推理

Infer Request基础

掌握Infer Request的概念 · 生命周期 · 状态机以及如何创建和配置Infer…

异步推理API详解

深入讲解OpenVINO异步推理的关… · wait · wait_for等）

API异步推理

异步推理执行模型

理解异步推理的流水线模型 · 包括请求提交 · 执行

异步推理执行模型理解异步推理的流…

Infer Request队列设计

学习如何设计和管理Infer Req… · 包括队列长度 · 请求复用和调度策略

吞吐量优化原理

分析影响推理吞吐量的因素 · 如批处理 · 并发度

吞吐量优化原理分析影响推理吞吐…

多请求并发执行

通过多个Infer Request并… · 实现多路视频流或批量请求的高吞吐处理

多请求并发执行Infer

回调机制与事件驱动

掌握OpenVINO异步推理中的回调… · 实现非阻塞式结果处理

回调机制事件驱动

同步等待与异步等待

区分wait和wait_for的用法 · 学习如何避免死锁和合理设置超时

同步等待异步等待

性能调优工具

使用OpenVINO的benchma… · 评估异步推理的吞吐量和延迟

性能调优工具OpenVINO

CPU与GPU异步推理差异

对比CPU · GPU等不同设备上异步推理的行为和优…

批处理与异步结合

将动态批处理与异步推理结合 · 进一步提升吞吐量 · 并处理可变输入尺寸

批处理异步结合

内存管理与请求复用

优化Infer Request的内存… · 通过请求池复用减少开销

内存管理请求复用

多线程与异步推理

理解OpenVINO内部线程模型 · 合理配置线程数 · 避免资源竞争

多线程异步推理

实时视频流处理案例

使用异步推理处理多路实时视频流 · 实现目标检测或分类任务

实时视频流处理案…使用异步推理处理…

异步推理在边缘设备上的应用

针对资源受限的边缘设备 · 设计低延迟高吞吐的异步推理方案

异步推理边缘设备上的应用

错误处理与异常恢复

处理异步推理中的异常情况 · 如设备丢失 · 请求超时

错误处理异常恢复

与预处理/后处理流水线集成

将异步推理与图像预处理 · 结果后处理流水线结合 · 形成完整的数据流

预处理后处理流水线集成

多模型异步推理

同时运行多个模型 · 通过异步推理协调不同模型的执行顺序和…

多模型异步推理同时运行多个模型

吞吐量与延迟权衡

分析吞吐量和延迟之间的权衡关系 · 根据应用需求调整异步推理参数

吞吐量延迟权衡

使用AsyncInferQueue

深入讲解OpenVINO的Async… · 掌握其配置 · 启动和等待方法

AsyncInferQu…使用

AsyncInferQueue实战

通过代码示例 · 使用AsyncInferQueue实… · 并处理结果

AsyncInferQu…通过代码示例

性能瓶颈定位

使用profiling工具定位异步推… · 如数据拷贝 · 内核执行

性能瓶颈定位profiling

常见问题与解决方案

总结异步推理中常见的错误 · 性能陷阱和解决方案 · 如请求未释放

常见问题解决方案

与OpenCV集成

将OpenVINO异步推理与Open… · 构建实时应用

模型优化与异步推理

结合模型压缩 · 量化等技术 · 进一步提升异步推理的吞吐量

模型优化异步推理

综合实战项目

设计一个完整的异步推理系统 · 如智能安防监控 · 涵盖多路视频

综合实战项目设计一个完整的异…

性能对比与评估

通过实验对比同步与异步推理在不同硬件… · 并撰写评估报告

性能对比评估

课程总结与进阶方向

回顾核心知识点 · 总结最佳实践 · 并介绍OpenVINO异步推理的进阶…

课程总结进阶方向