课程导入：学习目标、适用人群、课程整体框架与学习路径
NPU（神经网络处理单元）作为端侧AI推理的核心加速器，在移动设备、物联网、自动驾驶和边缘计算中扮演着越来越关键的角色。然而，NPU的碎片化问题——不同厂商（高通、联发科、华为、寒武纪、地平线等）拥有各自独立的指令集、内存层级和算子库——使得开发者难以编写一套代码在所有设备上高效运行。Google的NPU Delegate（委托）机制通过将部分算子从CPU/GPU卸载到NPU执行，为跨平台AI推理提供了统一入口。但Delegate本身并不解决"选哪个后端"和"如何调度"的问题：同一模型在不同NPU上的算子支持度、精度表现和延迟差异巨大，错误的后端选择可能导致推理速度反而下降，甚至因算子不支持而回退到CPU，造成隐性性能损失。本课程正是围绕这一核心痛点，系统讲解多后端选择策略与自动调度方法，帮助学员构建一套可复用的NPU推理优化框架。
上图展示了本课程的核心知识框架：输入模型经过Delegate的算子拆分后，由后端选择器从候选池中挑选合适的NPU后端，再通过自动调度引擎完成性能预测、算子分配和运行时切换，最终输出最优执行方案。这张图贯穿整个课程，后续所有章节都将围绕"选择"与"调度"两个关键词展开。
1.1 学习目标：从"能跑"到"跑得快"
本课程的学习目标分为四个层级，对应不同的能力阶段。第一层是理解NPU Delegate的工作原理，包括算子支持度检测、图分割策略、数据拷贝开销等基础概念。第二层是掌握多后端选择方法，能够根据硬件平台、模型结构和性能需求，在SNPE、NeuroPilot、HiAI等后端之间做出合理选择。第三层是实现自动调度策略，通过规则引擎、启发式算法或机器学习模型，动态决定哪些算子分配到NPU、哪些保留在CPU/GPU。第四层是构建生产级优化流程，包括性能基准测试、精度验证、回退机制设计和持续监控。
| 能力层级 | 核心技能 | 可交付成果 |
|---|---|---|
| L1 基础理解 | Delegate机制、算子映射、内存管理 | 能解释NPU推理链路各环节 |
| L2 手动选择 | 后端能力对比、性能基准测试 | 针对特定设备选择最优后端 |
| L3 自动调度 | 规则引擎、成本模型、动态切换 | 实现自适应后端选择系统 |
| L4 生产优化 | CI/CD集成、监控告警、灰度发布 | 构建完整的NPU优化平台 |
1.2 适用人群：谁需要这门课
课程主要面向三类人群。第一类是移动端/嵌入式AI工程师，他们正在使用TFLite或ONNX Runtime部署模型，但发现NPU利用率低、推理延迟不稳定，需要系统掌握Delegate配置与后端调优技巧。第二类是算法工程师，他们训练好的模型在开发板上性能尚可，但移植到多款量产设备后出现兼容性问题，需要理解不同NPU的算子支持差异，从而调整模型结构或添加自适应逻辑。第三类是系统架构师，他们负责设计跨平台AI推理中间件，需要制定统一的后端抽象层和调度策略，以支持公司内部多种芯片平台。
学员需要具备的基础包括：熟悉Python和C++基本语法，了解神经网络常见层（卷积、全连接、激活函数等），有基本的Linux命令行操作经验。如果学员接触过TFLite或ONNX Runtime的部署流程，学习效果会更好，但并非硬性要求——课程第2章会快速回顾相关背景知识。
1.3 课程整体框架：五大模块、三十章递进
课程分为五个模块，每个模块解决一个核心问题。模块一（第1-5章）是基础篇，讲解NPU硬件架构差异、Delegate机制原理、算子支持度检测方法，以及如何搭建跨平台性能测试环境。模块二（第6-12章）是后端深度解析，逐一剖析高通SNPE、联发科NeuroPilot、华为HiAI、Google NNAPI、以及寒武纪/地平线等国产NPU后端的特性、配置方法和典型坑位。模块三（第13-20章）是自动调度核心，涵盖规则引擎设计、性能成本模型、基于机器学习的后端预测、动态图分割策略、以及回退机制与异常处理。模块四（第21-26章）是工程实践，包括CI/CD集成、性能监控与告警、多设备兼容性测试、以及典型场景（图像分类、目标检测、NLP）的完整优化案例。模块五（第27-30章）是进阶与趋势，讨论NPU虚拟化、异构计算调度、以及Transformer架构在NPU上的优化方向。
1.4 学习路径建议：按需选择、螺旋上升
考虑到学员背景差异，课程设计了三条学习路径。路径A（快速上手）：适合急需解决当前项目问题的工程师，建议按顺序学习第1、2、6、7、13、21章，掌握最基本的Delegate配置和手动后端选择方法，即可应对80%的日常需求。路径B（系统掌握）：适合希望成为团队技术骨干的学员，建议按章节顺序完整学习，每章完成课后练习和实验，重点理解自动调度引擎的设计思路。路径C（架构师方向）：适合需要设计公司级推理平台的架构师，在路径B的基础上，额外关注第18-20章（动态图分割与回退机制）、第24-26章（多设备兼容性测试与案例），并完成第29章的异构计算扩展学习。
1.5 常见误区与学习心态
在课程开始前，有必要澄清几个常见误区。误区一："NPU一定比CPU快"。实际上，对于小模型或算子碎片化严重的模型，NPU的数据拷贝和启动开销可能超过计算节省的时间，导致整体延迟反而更高。课程第4章会详细讲解如何评估"NPU收益阈值"。误区二："后端选择是一次性决策"。真实场景中，设备负载、温度、电池电量都会影响NPU频率，最优后端可能随运行状态变化。第15章将介绍动态切换策略。误区三："算子支持度列表是静态的"。厂商会通过驱动升级增加算子支持，但也会因安全补丁禁用某些特性，因此需要建立持续监控机制。
最后，关于学习心态：NPU生态仍在快速演进，今天的最优方案可能在下个驱动版本中失效。本课程传授的不是"死记硬背的配置参数"，而是"分析问题、设计实验、验证假设"的方法论。希望学员在学习过程中，多问"为什么"，多动手做对比实验，这样才能真正掌握多后端选择与自动调度的精髓。