首页
›
实战100例
›
042-CPU微架构与性能优化实战
›
《C++ NPU推理引擎与多模型流水线实战100例》
VIP12
本课程属于：042-CPU微架构与性能优化实战
实战100例 · 共 12 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录
咨询 / 购买
《C++ NPU推理引擎与多模型流水线实战100例》
共 100 例
01
NPU设备初始化与资源查询
02
加载ONNX模型并获取输入输出信息
03
创建推理会话并执行单次推理
04
张量内存分配与数据拷贝
05
多输入多输出模型的推理处理
06
动态形状输入的处理
07
批量推理与性能基准测试
08
异步推理接口的使用
09
多线程并发推理
10
推理超时与错误处理
11
模型输入数据的预处理（图像缩放与归一化）
12
模型输出的后处理（分类结果解析）
13
目标检测模型的后处理（NMS）
14
语义分割模型的后处理（类别映射）
15
多模型串联推理（特征提取+分类）
16
多模型并联推理（集成学习）
17
模型切换与动态加载
18
模型缓存与复用
19
推理引擎配置选项调优
20
使用FP16精度进行推理
21
使用INT8量化模型推理
22
自定义算子注册与调用
23
模型图优化与融合
24
内存池管理与复用
25
推理结果的可视化（图像标注）
26
视频流实时推理
27
多路视频流并行推理
28
模型输入输出张量的动态绑定
29
推理引擎的日志与调试信息
30
模型版本管理与回滚
31
多模型流水线的调度器设计
32
流水线阶段间数据传递优化
33
动态批处理（Dynamic Batching）
34
请求优先级队列
35
推理结果缓存
36
模型热更新
37
多NPU设备负载均衡
38
NPU与CPU异构计算
39
推理引擎的C++封装库设计
40
基于工厂模式的模型创建
41
推理任务的取消与中断
42
推理引擎的插件机制
43
模型输入数据的格式转换（NHWC与NCHW）
44
多模型共享输入数据
45
模型输出数据的多路分发
46
多模型流水线的错误恢复
47
流水线性能监控与统计
48
基于配置文件的流水线构建
49
流水线中的条件分支
50
循环推理与状态保持
51
多模型组合（A+B+C）
52
模型推理与数据增强结合
53
推理引擎的线程池管理
54
推理任务依赖关系管理
55
模型推理的批处理调度
56
推理引擎的序列化与反序列化
57
模型推理的单元测试
58
模型推理的集成测试
59
推理引擎的基准测试框架
60
模型推理的模糊测试
61
推理引擎的异常安全
62
多模型流水线的资源限制
63
推理引擎的跨平台兼容
64
推理引擎的GPU与NPU混合使用
65
模型推理的功耗优化
66
推理引擎的模型加密与解密
67
推理引擎的远程调用（RPC）
68
推理引擎的gRPC服务
69
推理引擎的HTTP服务
70
推理引擎的WebSocket实时通信
71
推理引擎的消息队列集成
72
推理引擎的负载测试
73
推理引擎的优雅关闭
74
推理引擎的配置热加载
75
推理引擎的指标导出（Prometheus）
76
推理引擎的日志轮转
77
推理引擎的追踪（Tracing）
78
推理引擎的A/B测试
79
推理引擎的模型压缩
80
推理引擎的模型转换（ONNX到NPU格式）
81
推理引擎的模型优化（算子替换）
82
推理引擎的模型融合（BN与卷积融合）
83
推理引擎的模型量化校准
84
推理引擎的模型分块推理
85
推理引擎的模型并行
86
推理引擎的流水线并行
87
推理引擎的自动混合精度
88
推理引擎的算子执行时间分析
89
推理引擎的内存带宽优化
90
推理引擎的缓存优化（数据局部性）
91
推理引擎的多实例部署
92
推理引擎的容器化部署
93
推理引擎的Kubernetes部署
94
推理引擎的自动扩缩容
95
推理引擎的故障转移
96
推理引擎的模型版本灰度发布
97
推理引擎的请求路由
98
推理引擎的API版本管理
99
推理引擎的文档生成
100
推理引擎的代码覆盖率测试
所属VIP或分类
同VIP：ARMv8架构原理与系统开发实战100例
同VIP：Cache命中率提升的代码布局方法实战100例
同VIP：Jenkins-CI·CD流水线构建实战100例