VIP20

本课程属于：030-Edge AI硬件加速NPU调度 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

batch size对NPU推理吞吐量影响的实测分析课程

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 适用人群 · 课程整体框架与实战环境准备

课程导入学习目标

NPU推理基础

NPU架构特点 · 推理与训练的区别 · 推理吞吐量的定义与度量指标

NPU推理基础

batch size概念解析

batch size的定义 · 在推理中的角色 · 与吞吐量和延迟的关系

NPU推理性能影响因素

计算单元利用率 · 内存带宽 · 数据搬运开销

NPU推理性能影响因素

实测方法论

实验设计原则 · 控制变量法 · 重复测量与统计分析方法

实测方法论实验设计原则

测试工具与平台

常用NPU推理测试工具（如bench… · 性能计数器 · 监控指标采集方法

测试工具平台

环境搭建与配置

NPU驱动 · 推理框架（如MindSpore · TensorRT等）安装

环境搭建配置

单batch推理基线测试

batch size=1时的吞吐量 · 延迟 · 资源利用率实测与记录

batch推理基线测试

batch size递增实验

设置batch size为2 · 4 · 8

吞吐量曲线绘制

如何绘制batch size与吞吐量…

吞吐量曲线绘制batch

延迟与吞吐权衡分析

batch size增大对单请求延迟… · P50/P95/P99延迟变化

延迟吞吐权衡分析

NPU资源利用率分析

不同batch size下NPU计算… · 内存 · 带宽的利用率变化

NPU资源利用率分析

显存/内存占用实测

batch size与显存占用 · 内存峰值的关系 · OOM风险点

显存内存占用实测

多线程/多流并发影响

在固定batch size下 · 并发请求数对吞吐量的影响及与batc…

多线程多流并发影响

模型类型差异

CNN · Transformer · LLM等不同模型对batch siz…

模型类型差异CNN

精度与性能权衡

FP16 · INT8等不同精度下batch si…

精度性能权衡

动态shape与静态shape

静态batch与动态batch在NP…

算子融合与图优化

编译优化选项（如算子融合 · 内存复用）对batch size扩展…

算子融合图优化

真实场景模拟

模拟在线推理服务（如推荐 · OCR）中batch size动态调…

真实场景模拟模拟

基于ResNet50在NPU上完成b… · 输出完整报告

案例实战ResNet50

基于BERT模型在NPU上测试不同b… · 并分析瓶颈

案例实战BERT

基于GPT类大模型在NPU上测试ba… · 考虑KV cache

案例实战GPT

batch size增大但吞吐量不增… · 算子效率）

常见问题batch

OOM · 显存碎片 · 编译时间过长等工程问题及解决方案

常见问题OOM

如何根据实测数据选择最优batch… · 结合延迟SLA和吞吐目标

调优策略batch

自动调优方法

利用自动调参工具（如贝叶斯优化）搜索…

自动调优方法利用自动调参工具

NPU与GPU在batch size… · 迁移经验

对比分析NPU

性能报告撰写

如何结构化呈现实测数据 · 图表 · 结论与建议

性能报告撰写如何结构化呈现实…

设计一个完整的NPU推理吞吐量评估方… · 涵盖多模型 · 多batch

综合项目NPU

课程总结与进阶

核心要点回顾 · 常见误区 · 学习资源与后续研究方向

课程总结进阶