VIP5
本课程属于：149-NPU驱动Runtime与算子开发 AI智能与边缘计算工程 · 共 5 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

C++ NPU推理引擎与多模型流水线

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · NPU推理引擎与多模型流水线的整体概…
课程导入学习目标
02
NPU基础与硬件架构
NPU工作原理 · 常见NPU架构（如达芬奇 · 寒武纪
NPU硬件架构
03
C++开发环境搭建
交叉编译工具链 · NPU SDK安装 · CMake工程配置
C++开发环境搭建
04
模型格式与转换
常见模型格式（ONNX · TensorFlow · PyTorch
模型格式转换
05
NPU推理引擎核心API
初始化 · 加载模型 · 创建会话
NPUAPI
06
内存管理与数据搬运
NPU内存分配与释放 · DMA传输 · Host与Device数据同步
内存管理数据搬运
07
单模型推理实战
以图像分类为例 · 从模型转换到C++推理代码编写 · 实现一个完整的单模型推理程序
单模型推理实战以图像分类为例
08
多模型流水线概念
流水线设计模式 · 多模型串行/并行/级联/并联结构 · 数据流与依赖关系
多模型流水线概念流水线设计模式
09
多模型调度与任务队列
任务队列设计 · 线程池与异步调度 · 优先级管理
多模型调度任务队列
10
多模型内存共享与复用
多模型间张量复用 · 共享内存池 · 避免重复拷贝
多模型内存共享复用
11
流水线同步与异步机制
同步/异步推理 · 事件同步 · 条件变量
流水线同步异步机制
12
多模型流水线实战（一）
构建一个两阶段流水线（如检测+分类） · 实现数据流传递与结果聚合
多模型流水线实战构建一个两阶段流…
13
多模型流水线实战（二）
构建一个三阶段流水线（如检测+跟踪+… · 处理动态输入与多路视频流
多模型流水线实战构建一个三阶段流…
14
性能优化基础
性能瓶颈分析 · 算子融合 · 图优化
性能优化基础性能瓶颈分析
15
量化与精度调优
量化原理 · 校准数据集 · 混合精度
量化精度调优
16
多线程与并发编程
C++线程 · 线程池 · 原子操作
多线程并发编程
17
流水线性能调优
吞吐量优化 · 延迟优化 · 批处理大小调整
流水线性能调优吞吐量优化
18
多模型资源管理
模型生命周期管理 · 动态加载/卸载模型 · 模型热切换
多模型资源管理模型生命周期管理
19
错误处理与容错机制
异常处理 · 超时重试 · 模型失败降级
错误处理容错机制
20
多模型流水线中的数据处理
图像预处理/后处理 · 多模型间数据格式转换 · ROI提取
多模型流水线数据处理
21
案例实战
视频分析流水线（检测+跟踪+识别） · 从需求分析到C++实现 · 覆盖多模型协作
案例实战视频分析流水线
22
案例实战
自然语言处理流水线（文本分类+实体识… · 处理变长输入与动态形状
案例实战自然语言处理流水…
23
案例实战
多路摄像头实时推理流水线 · 使用多线程与多NPU设备 · 实现高并发处理
案例实战多路摄像头实时推…
24
常见问题与调试技巧
内存泄漏 · 句柄泄漏 · 模型加载失败
常见问题调试技巧
25
性能分析工具使用
使用profiler · perf · gprof等工具分析CPU/NPU利…
性能分析工具使用profiler
26
多NPU设备协同
多设备分配策略 · 设备间通信（如PCIe · NVLink）
NPU设备协同
27
模型流水线框架设计
抽象接口设计 · 插件化架构 · 配置驱动
模型流水线框架设…抽象接口设计
28
安全与稳定性
输入数据校验 · 防止内存越界 · 异常输入处理
安全稳定性
29
综合项目实战
设计并实现一个完整的C++ NPU推… · 支持多模型流水线 · 包含文档
综合项目实战C++
30
课程总结与进阶方向
回顾核心知识点 · 常见误区 · 未来趋势（如Transformer在…
课程总结进阶方向