VIP20

本课程属于：030-Edge AI硬件加速NPU调度 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

NPU delegate多后端选择与自动调度实战指南

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 适用人群 · 课程整体框架与学习路径

课程导入学习目标

NPU与Delegate基础

NPU架构特点 · Delegate在推理框架中的作用 · 常见NPU后端（如Qualcomm

多后端抽象层设计

统一接口 · 后端注册机制 · 能力查询与特性差异

多后端抽象层设计统一接口

后端选择策略

基于硬件能力 · 算子支持 · 精度要求

后端选择策略基于硬件能力

运行时动态选择

根据输入形状 · 批大小 · 设备负载等动态切换后端的实现思路

运行时动态选择根据输入形状

自动调度框架

调度器架构 · 任务队列 · 优先级策略

自动调度框架调度器架构

算子级调度

算子分解 · 后端映射 · 算子融合与图优化在调度中的角色

算子级调度算子分解

计算图切分 · 子图划分 · 跨后端执行与数据同步

图级调度计算图切分

性能建模与预测

基于硬件特性的性能模型 · 成本函数 · 预估执行时间

性能建模预测

启发式调度算法

贪心 · 动态规划 · 遗传算法等在NPU调度中的应用

启发式调度算法贪心

基于学习的调度

强化学习 · 在线学习在自动调度中的实践与挑战

基于学习的调度强化学习

多后端编译流程

从模型到后端可执行代码的编译管线 · IR转换与优化

多后端编译流程从模型到后端可执…

后端适配层实现

算子注册 · 内存管理 · 流同步

后端适配层实现算子注册

内存与缓冲区管理

多后端下的内存池 · 零拷贝 · 共享内存与生命周期管理

内存缓冲区管理

精度与数值稳定性

不同后端浮点行为差异 · 量化支持 · 精度验证与回退策略

精度数值稳定性

功耗与热管理

功耗感知调度 · 频率调节 · 温度限制下的后端选择

功耗热管理

多线程与异步执行

并发调度 · 异步推理 · 事件同步与流水线优化

多线程异步执行

基于TensorFlow Lite…

案例实战TensorFlow

基于ONNX Runtime的NPU…

案例实战ONNX

基于MediaPipe的NPU de…

案例实战MediaPipe

自定义NPU后端接入现有Delega…

案例实战NPU

性能分析工具

Profiling工具 · Trace分析 · 瓶颈定位与优化迭代

性能分析工具Profiling

常见问题与调试

后端加载失败 · 算子不支持 · 精度异常

常见问题调试

测试与验证

单元测试 · 集成测试 · 回归测试

部署与运维

模型打包 · 后端动态加载 · 版本兼容

安全与隐私

多后端下的数据安全 · 模型保护 · 隔离执行环境

NPU架构演进 · 异构计算 · 统一编程模型对Delegate的影响

前沿趋势NPU

设计一个支持多后端自动调度的推理系统 · 从需求分析到实现

综合项目设计一个支持多后…

针对特定场景（如自动驾驶 · AR）优化多后端调度策略并评估效果

综合项目针对特定场景

课程总结与进阶

核心知识回顾 · 常见误区 · 学习资源与未来发展方向

课程总结进阶