VIP20

本课程属于：030-Edge AI硬件加速NPU调度 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

NPU delegate内存复用与推理延迟优化实战讲义

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 核心概念 · 整体框架

课程导入学习目标

NPU与Delegate基础

NPU架构特点 · Delegate机制原理 · 常见NPU框架（如Qualcomm…

内存复用核心概念

内存池 · 内存分配/释放策略 · 生命周期管理

内存复用核心概念内存池

推理延迟关键指标

延迟定义 · 端到端延迟 · 算子延迟

推理延迟关键指标延迟定义

NPU delegate内存管理现状

默认内存分配方式 · 常见内存瓶颈 · 典型内存泄漏与浪费场景

内存复用设计原则

复用窗口 · 内存生命周期分析 · 静态与动态内存规划

内存复用设计原则复用窗口

内存复用算法基础

图着色算法 · 区间着色 · 最佳适配/首次适配

内存复用算法基础图着色算法

基于TensorFlow Lite的NPU delegate内存复用

TFLite delegate接口 · 内存规划器（Memory Plann…

基于ONNX Runtime的NPU delegate内存复用

ORT执行环境 · 内存分配器定制 · 图优化与内存复用集成

基于自定义NPU runtime的内存复用

自定义delegate架构 · 内存管理模块设计 · 与框架的对接

内存复用实战

从简单模型开始 · 分析内存使用 · 实现基础内存池并复用中间张量

内存复用实战从简单模型开始

推理延迟优化方法

算子融合 · 算子替换 · 数据布局优化

推理延迟优化方法算子融合

内存复用与延迟的联合优化

如何通过内存复用减少拷贝 · 提升缓存命中率 · 降低内存带宽压力

内存复用延迟的联合优化

MobileNet在NPU dele…

案例分析MobileNet

YOLO系列模型在NPU上的内存复用…

案例分析YOLO

Transformer/Attent…

案例分析Transformer/…

多模型场景下的内存复用

模型切换 · 并发推理 · 内存共享与隔离策略

多模型场景下的内…模型切换

动态形状与内存复用

动态输入尺寸 · 动态batch · 内存规划的重计算与预留策略

动态形状内存复用

内存复用中的安全与正确性

依赖分析 · 别名问题 · 生命周期冲突检测

内存复用安全

性能剖析与瓶颈定位

使用profiler · trace · 硬件计数器定位内存与延迟瓶颈

性能剖析瓶颈定位

内存复用工具链

开源工具（如TFLite memor… · ONNX Runtime arena…

内存复用工具链TFLite

常见问题与解决方案

内存碎片 · 分配失败 · 性能回退

常见问题解决方案

异构内存（HBM/DDR） · 缓存一致性 · DMA与内存复用结合

高级主题HBM/DDR

自动内存复用搜索

高级主题自动内存复用搜索

构建一个简单的NPU delegat… · 并集成到推理框架中

实战项目NPU

对现有模型进行内存复用优化 · 量化延迟改善与内存节省

实战项目对现有模型进行内…

设计一个内存复用与延迟优化的完整流程 · 并输出性能报告

实战项目设计一个内存复用

如何设计可扩展的内存复用架构 · 适应未来NPU特性

综合提升如何设计可扩展的…

从系统角度优化推理延迟 · 包括调度 · 电源管理

综合提升从系统角度优化推…

课程总结与展望

回顾核心知识点 · 总结实战经验 · 探讨NPU delegate内存优化…

课程总结回顾核心知识点