VIP20
本课程属于：030-Intel Edge AI与OpenVINO部署优化 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

11. OpenVINO性能Benchmark：Latency模式和Throughput模式

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
了解OpenVINO性能Benchm… · 明确Latency与Throughp… · 区别及适用场景
课程导入OpenVINO
02
环境准备
安装OpenVINO工具套件 · 配置Python或C++开发环境 · 验证benchmark_app工具可…
环境准备OpenVINO
03
核心概念
深入理解延迟（Latency） · 吞吐量（Throughput） · 批处理（Batch）
核心概念Latency
04
Benchmark工具入门
掌握benchmark_app命令行… · 包括模型路径 · 设备选择
Benchmark工具入门
05
Latency模式原理
解析Latency模式下如何最小化单… · 理解其工作机制 · 适用场景（如实时交互）及性能指标（如…
Latency模式原理
06
Throughput模式原理
解析Throughput模式下如何最… · 理解其工作机制 · 适用场景（如批量离线处理）及性能指标…
Throughput模式原理
07
模式对比分析
通过实验对比Latency与Thro… · 分析各自优缺点及选择依据
模式对比分析Latency
08
设备选择与配置
学习在CPU · GPU · VPU等不同硬件上运行Benchma…
设备选择配置
09
模型优化对性能的影响
使用模型优化器（Model Opti… · 剪枝等优化 · 对比优化前后在两种模式下的性能变化
模型优化对性能的…Model
10
批处理与并发设置
掌握在Throughput模式下设置… · 理解其对吞吐量和延迟的影响
批处理并发设置
11
Latency模式调优技巧
学习如何通过减少预处理开销 · 优化模型结构 · 调整推理精度等方式降低单次推理延迟
Latency模式调优技巧
12
Throughput模式调优技巧
学习如何通过增加批处理 · 合理设置并发 · 利用异步推理等方式提升整体吞吐量
Throughput模式调优技巧
13
性能指标解读
学会分析Benchmark输出结果 · 包括平均延迟 · 吞吐量
性能指标解读Benchmark
14
多设备与异构执行
了解OpenVINO的多设备（MUL… · 学习如何在Benchmark中测试多…
多设备异构执行
15
动态形状与静态形状
掌握模型输入形状对性能的影响 · 学习在Benchmark中设置动态形… · 并比较两种模式下的表现
动态形状静态形状
16
真实场景案例
以图像分类 · 目标检测等典型任务为例 · 演示如何针对不同业务需求选择Late…
真实场景案例以图像分类
17
性能瓶颈定位
学习使用OpenVINO Profi… · 定位CPU/GPU/内存等瓶颈
性能瓶颈定位OpenVINO
18
常见问题与解决
总结Benchmark中常见错误（如… · 内存不足 · 参数错误）及解决方案
常见问题解决
19
自动化Benchmark脚本
编写Python脚本批量运行不同配置… · 自动收集结果并生成对比报告 · 提升工作效率
Benchmark自动化
20
结果可视化与报告
使用Matplotlib或Excel… · 制作清晰的性能对比图表 · 便于汇报与决策
结果可视化报告
21
与OpenVINO其他工具集成
了解Benchmark与OpenVI… · DL Workbench等工具的集成… · 扩展应用场景
OpenVINO其他工具集成
22
性能优化综合策略
结合模型优化 · 硬件选择 · 模式选择
性能优化综合策略结合模型优化
23
实战项目
设计一个完整的Benchmark实验 · 从模型选择 · 环境配置
实战项目Benchmark
24
Latency模式进阶
探索使用低精度（如INT8）和模型压… · 并评估精度损失
Latency模式进阶
25
Throughput模式进阶
研究多实例部署 · 流水线并行等高级技术 · 进一步提升吞吐量
Throughput模式进阶
26
性能与精度权衡
学习如何在追求性能的同时保证模型精度 · 掌握量化感知训练 · 混合精度等技巧
性能精度权衡
27
云环境与边缘部署
对比在云端GPU和边缘设备上运行Be… · 分析网络 · 功耗等对性能的影响
云环境边缘部署
28
最新特性与趋势
了解OpenVINO最新版本中Ben… · CPU指令集优化） · 并尝试使用
最新特性趋势
29
综合评测与选型
针对一个具体业务需求 · 综合运用所学知识 · 评测不同模式
综合评测选型
30
课程总结与展望
回顾课程核心知识点 · 总结Latency与Throughp… · 展望OpenVINO性能优化未来发展…
课程总结回顾课程核心知识…