VIP20

本课程属于：030-Edge AI硬件加速NPU调度 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

NPU delegate与CPU回退机制切换策略课程

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · NPU delegate与CPU回退…

课程导入学习目标

NPU基础概念

NPU架构特点 · 与CPU/GPU的差异 · 常见NPU平台（如Qualcomm…

NPU基础概念

Delegate机制概述

什么是Delegate · Delegate在推理框架（如Ten… · ONNX Runtime）中的作用

Delegate机制概述

CPU回退机制原理

为什么需要CPU回退 · 回退触发条件（算子不支持 · 内存不足

CPU回退机制原理

NPU delegate与CPU回退的协作流程

推理请求如何被分发 · delegate接管子图 · 未接管部分自动回退CPU的完整流程

常见NPU delegate实现

TFLite NNAPI deleg… · TFLite Hexagon del… · ONNX Runtime EP（Ex…

算子支持列表与能力查询

如何获取NPU支持的算子列表 · 算子版本兼容性 · 动态shape与静态shape对支持…

算子支持列表能力查询

子图划分与图优化

如何将模型图划分为可执行子图 · 子图边界处理 · 图优化（如常量折叠

子图划分图优化

回退策略设计

基于算子类型 · 性能预估 · 内存占用

回退策略设计基于算子类型

性能评估与基准测试

如何衡量NPU delegate加速… · CPU回退带来的性能损失 · 端到端延迟与吞吐量测试方法

性能评估基准测试

精度与数值稳定性

NPU与CPU数值差异 · 精度敏感算子（如LayerNorm · Softmax）的处理

精度数值稳定性

内存管理与缓冲区复用

NPU内存分配策略 · 输入输出缓冲区管理 · 避免内存拷贝导致的性能瓶颈

内存管理缓冲区复用

动态shape与多batch场景

动态输入尺寸对delegate和回退… · 如何处理动态shape · 多batch优化策略

多线程与异步执行

NPU与CPU并行执行的可能性 · 异步推理 · 任务调度与同步机制

多线程异步执行

模型转换与部署流程

将模型转换为支持delegate的格… · ONNX） · 设置delegate参数

模型转换部署流程

图像分类模型（如MobileNet）…

案例实战MobileNet

目标检测模型（如SSD）在ONNX… · 分析回退热点

案例实战SSD

自然语言处理模型（如BERT）在NP…

案例实战BERT

回退日志与调试工具

如何开启delegate日志 · 分析回退原因 · 使用profiler定位性能瓶颈

回退日志调试工具

常见问题与解决方案

算子不支持导致整图回退 · NPU初始化失败 · 内存泄漏

常见问题解决方案

基于运行时反馈的动态切换策略 · 根据设备负载和电池状态调整deleg…

高级策略基于运行时反馈的…

多NPU平台适配

不同厂商NPU的差异 · 编写可移植的delegate配置 · 硬件抽象层（HAL）的作用

NPU平台适配

与量化技术的结合

量化对NPU加速的影响 · 量化感知训练与后训练量化在deleg…

量化技术的结合NPU

与模型压缩技术结合

剪枝 · 蒸馏对NPU支持的影响 · 压缩模型在delegate上的表现

模型压缩技术结合剪枝

安全与稳定性

NPU驱动崩溃时的回退保护机制 · 异常处理与降级策略

安全稳定性

性能调优方法论

从系统层面（内存带宽 · 缓存）到算子层面（融合 · 替换）的调优思路

性能调优方法论从系统层面

自动化测试与回归验证

如何构建自动化测试集验证delega… · 性能回归监控

自动化测试回归验证

综合实战项目

从零构建一个支持NPU delega… · 包含模型转换 · 策略配置

综合实战项目NPU

前沿趋势与展望

NPU技术演进 · delegate机制的未来 · 异构计算与自动调度的发展方向

前沿趋势NPU

课程总结与进阶路径

核心知识点回顾 · 常见误区 · 推荐学习资源与进阶研究方向

课程总结进阶路径