VIP20

本课程属于：030-Edge AI硬件加速NPU调度 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Edge AI NPU算子分派策略与CPU fallback设计

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 适用人群 · 课程结构

课程导入学习目标

Edge AI NPU基础

NPU架构特点 · 常见NPU产品（如瑞芯微 · 地平线

算子与算子分派概念

算子的定义 · 算子类型（卷积 · 池化

算子算子分派概念

NPU算子支持能力评估

如何获取NPU算子支持列表 · 算子版本兼容性 · 算子性能特征分析

NPU算子支持能力评估

CPU fallback的动机与场景

为什么需要CPU fallback · 典型触发场景（算子不支持 · 内存不足

分派策略设计原则

性能优先 · 稳定性优先 · 功耗约束

分派策略设计原则性能优先

静态分派策略

编译期算子映射 · 基于规则的分派表 · 静态图优化中的分派决策

静态分派策略编译期算子映射

动态分派策略

运行时算子检测 · 动态图模式下的分派 · 基于输入形状/数据类型的动态决策

动态分派策略运行时算子检测

混合分派策略

静态与动态结合 · 分层分派（模型级 · 层级

混合分派策略静态

分派决策的关键因素

算子性能模型 · 内存带宽 · 数据布局

分派决策的关键因…算子性能模型

CPU fallback实现机制

算子注册表 · fallback回调接口 · 数据格式转换（NHWC/NCHW）

分派与fallback的切换流程

算子执行前检查 · 执行中异常处理 · 执行后结果校验

性能监控与调优

profiling工具使用 · 分派热点分析 · fallback频率统计

性能监控调优

基于TensorFlow Lite的…

案例实战TensorFlow

基于ONNX Runtime的NPU…

案例实战ONNX

自研推理引擎中实现算子分派器与fal…

案例实战fal

分派策略的配置化

配置文件设计 · 运行时参数调整 · 策略热更新

分派策略的配置化配置文件设计

多NPU与多CPU异构场景

多设备分派 · 负载均衡 · 跨设备fallback

精度与数值稳定性

NPU低精度算子（INT8/FP16… · 量化误差处理

精度数值稳定性

内存管理与数据搬运

分派过程中的内存分配 · DMA传输优化 · 零拷贝技术

内存管理数据搬运

算子融合与分派

融合算子（Conv+BN+ReLU）… · 融合失败时的fallback

算子融合分派

模型转换与分派

从训练框架到推理框架的转换中算子映射 · 自定义算子注册

模型转换分派

分派策略的测试与验证

单元测试 · 集成测试 · 回归测试

分派策略的测试验证

常见问题与解决方案

算子不支持 · 性能下降 · 内存溢出

常见问题解决方案

分派策略的自动化生成

基于机器学习的分派预测 · 自动调优工具（如AutoTVM）

分派策略的自动化…基于机器学习的分…

与推理框架的集成

TensorRT · OpenVINO · MediaPipe等框架中的分派与f…

推理框架的集成TensorRT

安全与可靠性

fallback的容错设计 · 异常恢复 · 日志记录

安全可靠性

综合项目实战

设计一个完整的Edge AI推理系统 · 实现NPU优先分派与CPU fall… · 并评估性能

综合项目实战Edge

前沿趋势与展望

NPU架构演进 · 统一编程模型 · 跨平台分派标准

前沿趋势NPU

课程总结与进阶路径

核心知识回顾 · 常见误区 · 推荐资源

课程总结进阶路径