VIP20
本课程属于：019-Arm Ethos-U NPU模型部署 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Arm Ethos-U NPU延迟预算控制与推理优化指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 目标学员 · 课程结构
课程导入学习目标
02
Arm Ethos-U NPU架构概览
核心架构 · 计算单元 · 内存层次
ArmEthos-U
03
延迟预算基础
延迟的定义 · 测量单位 · 影响延迟的关键因素（算子
延迟预算基础延迟的定义
04
推理流程与延迟构成
从模型输入到输出的完整流水线 · 各阶段延迟占比分析
推理流程延迟构成
05
开发环境搭建
Vela编译器 · Arm Compiler · CMSIS-NN
开发环境搭建Vela
06
模型转换与量化基础
TFLite模型到Ethos-U可执… · 量化对延迟的影响
模型转换量化基础
07
Vela编译器详解
Vela的优化选项 · 内存规划 · 算子融合
Vela编译器详解
08
延迟预算设定方法
如何根据应用场景（实时控制 · 语音唤醒 · 视觉检测）设定合理的延迟预算
延迟预算设定方法如何根据应用场景
09
性能分析工具使用
使用Arm Performance… · Streamline · Ethos-U profiling接…
性能分析工具使用Arm
10
算子级延迟优化
常见算子（卷积 · 全连接 · 激活
算子级延迟优化常见算子
11
内存带宽与延迟
内存访问模式 · DMA传输 · SRAM与DRAM的延迟差异及优化策…
内存带宽延迟
12
多线程与多核调度
在Cortex-M/A与Ethos-… · 利用双核并行降低端到端延迟
多线程多核调度
13
模型结构对延迟的影响
深度 · 宽度 · 分组卷积
模型结构对延迟的…深度
14
量化感知训练与延迟
量化精度（INT8/INT16）对延… · QAT最佳实践
量化感知训练延迟
15
剪枝与蒸馏
结构化剪枝 · 通道剪枝 · 知识蒸馏如何减少NPU计算量并降低延…
剪枝蒸馏
16
缓存与预取优化
利用NPU的缓存机制 · 数据预取 · 双缓冲技术隐藏内存延迟
缓存预取优化
17
批处理与流式推理
批处理大小对延迟的影响 · 流式推理的延迟预算控制
批处理流式推理
18
实时操作系统集成
在FreeRTOS/Zephyr中集… · 任务优先级与延迟预算管理
实时操作系统集成FreeRTOS/Zep…
19
案例实战
关键词唤醒（KWS）模型的延迟预算控…
案例实战KWS
20
案例实战
图像分类模型（MobileNet）在…
案例实战MobileNet
21
案例实战
目标检测模型（YOLO类）的延迟预算…
案例实战YOLO
22
案例实战
语音识别模型（RNN/Transfo…
案例实战RNN/Transfo
23
常见延迟瓶颈诊断
识别并解决内存瓶颈 · 算子瓶颈 · 调度瓶颈的实战方法
常见延迟瓶颈诊断识别并解决内存瓶…
24
延迟与功耗的权衡
在电池供电设备中如何平衡延迟预算与功… · 动态电压频率调整
延迟功耗的权衡
25
多模型场景下的延迟预算
多个模型共享NPU时的调度策略与延迟…
多模型场景下的延…NPU
26
版本迁移与兼容性
从Ethos-U55到U65的迁移 · 新特性对延迟优化的影响
版本迁移兼容性
27
自动化优化流程
构建自动化的模型优化流水线（量化 · 编译 · 性能评估
自动化优化流程构建自动化的模型…
28
延迟预算监控与动态调整
运行时监控推理延迟 · 动态调整模型或NPU配置以满足预算
延迟预算监控动态调整
29
综合项目
设计一个完整的智能门锁系统 · 从需求分析到延迟预算控制与优化实现
综合项目设计一个完整的智…
30
课程总结与进阶路径
回顾核心知识点 · 推荐进阶资源 · 探讨未来NPU延迟优化趋势
课程总结进阶路径