VIP20

本课程属于：030-Edge AI硬件加速NPU调度 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

NPU delegate在端侧推理引擎中的配置与调试教程

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 适用人群 · 课程结构

课程导入学习目标

端侧推理引擎基础

主流引擎（TFLite · ONNX Runtime · MNN

端侧推理引擎基础TFLite

NPU与delegate概念解析

NPU硬件特性 · delegate机制 · 为什么需要delegate

环境搭建与工具链准备

交叉编译工具链 · Android NDK · SDK

环境搭建工具链准备

NPU delegate的常见类型

TFLite NNAPI deleg… · Hexagon delegate · XNNPACK delegate

delegate的配置入口

在推理引擎中启用delegate的A… · 参数 · 初始化流程

delegate的配置入口

算子支持与映射

NPU支持的算子列表 · 算子映射规则 · 不支持算子的回退策略（fallbac…

算子支持映射

模型转换与量化准备

将模型转换为适合NPU的格式（如TF… · ONNX） · 量化方法（PTQ

模型转换量化准备

delegate的编译与链接

在Android/iOS/Linux… · 链接动态库与静态库的注意事项

delegate的编译

第一个NPU推理程序

从加载模型 · 配置delegate · 执行推理到获取结果的完整最小示例

调试工具与日志分析

使用日志（logcat · stderr） · 调试器（gdb

调试工具日志分析

性能分析基础

延迟 · 吞吐量 · 功耗

性能分析基础延迟

常见错误与异常处理

delegate初始化失败 · 算子不支持 · 内存错误

常见错误异常处理

算子回退与混合执行

如何配置部分算子走NPU · 部分走CPU · 以及回退策略的调优

算子回退混合执行

多线程与异步推理

在delegate环境下使用多线程 · 异步执行 · 流水线优化

多线程异步推理

内存管理与缓冲区优化

输入输出张量的内存分配 · 零拷贝 · 共享内存

内存管理缓冲区优化

模型优化与算子融合

针对NPU的图优化 · 算子融合 · 常量折叠

模型优化算子融合

量化精度调试

量化后精度下降的排查方法 · 校准数据集的选择 · 量化参数调整

量化精度调试量化后精度下降的…

NPU驱动与固件调试

驱动版本兼容性 · 固件更新 · 权限问题

跨平台部署

在Android · iOS · Linux

跨平台部署Android

图像分类模型（MobileNet）在…

案例实战MobileNet

目标检测模型（YOLOv5）在ONN…

案例实战YOLOv5

语义分割模型（DeepLabV3）在…

案例实战DeepLabV3

自然语言处理模型（BERT）在端侧N…

案例实战BERT

性能调优进阶

算子级profiling · 瓶颈分析 · 内存带宽优化

性能调优进阶profiling

稳定性与可靠性

长时间运行 · 热切换 · 异常恢复

稳定性可靠性

自动化测试与CI集成

编写delegate的单元测试 · 集成测试 · 性能回归测试

CI自动化测试

安全与隐私

模型加密 · 输入输出数据保护 · NPU上的安全执行环境

常见问题FAQ与排查手册

汇总高频问题 · 排查步骤 · 社区资源

FAQ常见问题

综合项目实战与课程总结

从零构建一个端侧NPU推理应用 · 涵盖配置 · 调试

综合项目实战课程总结