VIP20
本课程属于：032-Edge AI OpenVINO部署优化 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

OpenVINO CPU推理线程数与NUMA调优教程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
了解OpenVINO推理框架 · CPU推理性能瓶颈 · 线程与NUMA调优的价值
课程导入OpenVINO
02
CPU架构基础
理解现代CPU核心 · 超线程 · 缓存层级
CPU架构基础
03
NUMA架构详解
掌握NUMA（非统一内存访问）原理 · NUMA节点拓扑 · 本地与远程内存访问差异
NUMA架构详解
04
OpenVINO推理流程概览
熟悉OpenVINO推理API · 模型加载 · 编译配置
OpenVINO推理流程概览
05
OpenVINO线程控制核心参数
掌握CPU_THREADS_NUM · CPU_THREADS_STREAM · CPU_BIND_THREAD等关键…
OpenVINO线程控制核心参数
06
线程数选择策略
学习如何根据CPU核心数 · 模型计算量 · 批处理大小等因素确定最优线程数
线程数选择策略CPU
07
线程绑定与CPU亲和性
理解CPU亲和性（affinity）… · 掌握OpenVINO中线程绑定模式（… · NONE
CPU线程绑定
08
NUMA感知的线程分配
学习如何将推理线程合理分布到不同NU… · 减少跨节点内存访问 · 提升缓存命中率
NUMA感知的线程分配
09
环境变量与系统级NUMA控制
掌握numactl · taskset等Linux工具的使用 · 以及如何通过环境变量（如OMP_NU…
NUMA环境变量
10
性能分析工具使用
学习使用perf · vtune · OpenVINO benchmark…
性能分析工具使用perf
11
基准测试方法
掌握benchmark_app的用法 · 学会设计对比实验 · 评估不同线程与NUMA配置下的推理延…
基准测试方法benchmark
12
单流与多流推理调优
理解OpenVINO的流（strea… · 学习单流低延迟与多流高吞吐场景下的线…
单流多流推理调优
13
模型类型对调优的影响
分析CNN · Transformer · RNN等不同模型结构在CPU推理时的…
模型类型对调优的…CNN
14
批处理与动态形状调优
学习批处理大小 · 动态形状对线程利用率和NUMA内存分… · 掌握相应调优技巧
批处理动态形状调优
15
多实例部署调优
掌握在同一台机器上部署多个推理实例时… · 避免资源争抢
多实例部署调优掌握
16
混合精度与量化对线程的影响
了解INT8 · BF16等低精度推理的计算特性 · 以及量化模型在CPU线程与NUMA调…
混合精度量化对线程的影响
17
常见性能瓶颈识别
学会通过性能分析定位CPU计算瓶颈 · 内存带宽瓶颈 · 线程同步开销等常见问题
常见性能瓶颈识别CPU
18
案例实战
单机单卡CPU推理调优 · 完整演示从默认配置到线程与NUMA调…
案例实战CPU
19
案例实战
多路服务器NUMA调优 · 演示如何利用numactl和Open…
案例实战NUMA
20
案例实战
高吞吐推理服务调优 · 展示如何通过多流 · 线程绑定和NUMA感知配置提升整体Q…
案例实战高吞吐推理服务调…
21
案例实战
低延迟推理调优 · 演示如何通过减少线程数 · 绑定核心
案例实战低延迟推理调优
22
常见问题与解决方案
汇总线程数设置不当 · NUMA节点内存不足 · 线程绑定失败等常见问题
常见问题解决方案
23
OpenVINO版本差异与兼容性
介绍不同OpenVINO版本在CPU… · 以及升级时的注意事项
OpenVINO版本差异
24
与其他推理框架对比
简要对比TensorRT · ONNX Runtime等框架在CP… · 帮助理解OpenVINO的独特性
其他推理框架对比TensorRT
25
自动化调优工具与脚本
学习编写脚本自动扫描不同线程数与NU… · 并基于性能指标自动选择最优参数
自动化调优工具脚本
26
容器化与云环境下的调优
掌握在Docker · Kubernetes等容器环境中进行…
容器化云环境下的调优
27
性能调优的工程化实践
学习如何将调优参数固化到配置文件 · CI/CD流程中 · 实现可复现的性能优化
性能调优的工程化…学习如何将调优参…
28
进阶
结合硬件特性深度调优 · AMX等指令集对CPU推理的影响 · 以及如何结合线程与NUMA调优发挥硬…
进阶结合硬件特性深度…
29
综合实战项目
端到端调优流程：从需求分析 · 性能基线 · 调优实验
综合实战项目端到端调优流程
30
课程总结与展望
回顾核心知识点与调优方法论 · 总结常见误区 · 展望未来CPU架构与OpenVINO…
课程总结回顾核心知识点