VIP20
本课程属于：030-Intel Edge AI与OpenVINO部署优化 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

3. OpenVINO Runtime使用：CPU、iGPU和NPU设备推理

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 适用人群 · 课程结构
课程导入学习目标
02
OpenVINO Runtime概述
什么是OpenVINO Runtim… · 支持设备类型（CPU · iGPU
OpenVINORuntime
03
环境搭建
安装OpenVINO Runtime · 配置Python/C++开发环境 · 验证安装
环境搭建OpenVINO
04
模型准备与转换
将PyTorch/TensorFlo… · 使用模型优化器 · 模型精度与性能权衡
模型准备转换
05
推理基础流程
加载模型 · 创建InferRequest · 设置输入输出
推理基础流程加载模型
06
CPU设备推理
CPU设备特性 · 线程配置 · 吞吐量与延迟优化
CPU设备推理
07
iGPU设备推理
iGPU设备特性 · 显存管理 · OpenCL后端
iGPU设备推理
08
NPU设备推理
NPU设备架构 · 支持的操作与限制 · NPU推理流程
NPU设备推理
09
设备选择与自动插件
使用AUTO插件自动选择设备 · 设备优先级设置 · 手动指定设备
设备选择自动插件
10
推理配置与性能调优
设置推理精度（FP32/FP16/I… · 性能提示（LATENCY/THROU… · CPU线程数
推理配置性能调优
11
异步推理与流水线
异步推理API · 多请求并发 · 流水线设计
异步推理流水线
12
模型输入输出处理
图像预处理（resize · 归一化） · 数据布局（NCHW/NHWC）
模型输入输出处理resize
13
后处理与结果解析
分类 · 检测 · 分割任务的输出解析
后处理结果解析
14
CPU推理实战案例
基于CPU部署图像分类模型（如Res… · 完整代码与性能分析
CPU推理实战案例
15
iGPU推理实战案例
基于iGPU部署目标检测模型（如YO… · 处理视频流并优化帧率
iGPU推理实战案例
16
NPU推理实战案例
基于NPU部署轻量级模型（如Mobi… · 实现低功耗实时推理
NPU推理实战案例
17
多设备协同推理
同时使用CPU+iGPU+NPU · 任务分配策略 · 负载均衡
多设备协同推理CPU+iGPU+NPU
18
模型量化与压缩
INT8量化原理 · 使用NNCF或Post-traini… · 量化后模型在CPU/iGPU/NPU…
模型量化压缩
19
动态形状与可变输入
设置动态形状 · 处理不同分辨率输入 · 动态形状对性能的影响
动态形状可变输入
20
错误处理与调试
常见错误码 · 日志分析 · 设备不支持操作的处理
错误处理调试
21
性能基准测试
使用benchmark_app工具 · 自定义基准测试脚本 · 分析CPU/iGPU/NPU性能指标
性能基准测试benchmark
22
与OpenVINO其他组件集成
使用OpenVINO Model A… · 预处理API · 与OpenCV集成
OpenVINO其他组件集成
23
C++ API使用
C++推理流程 · 内存管理 · 与Python API对比
C++API
24
边缘部署与优化
在边缘设备上部署 · 内存占用优化 · 模型缓存
边缘部署优化
25
常见问题与解决方案
CPU推理慢 · iGPU显存不足 · NPU不支持算子
常见问题解决方案
26
综合实战项目一
构建一个实时视频分析系统 · 使用CPU/iGPU/NPU分别推理…
综合实战项目一构建一个实时视频…
27
综合实战项目二
开发一个多设备智能相册应用 · 自动选择最优设备进行图像分类
综合实战项目二开发一个多设备智…
28
综合实战项目三
优化一个NLP模型（如BERT）在C… · 并部署到NPU
综合实战项目三NLP
29
课程总结与进阶路径
核心知识点回顾 · 常见误区 · 学习资源推荐
课程总结进阶路径
30
结课测试与实战考核
完成一个跨设备推理任务 · 提交性能报告与优化方案 · 评估综合能力
结课测试实战考核