1. 课程导入
当你拿起一台智能摄像头、一台工业质检一体机，或者一辆能识别车道线的智能小车时，背后往往藏着一颗专门为神经网络计算而生的芯片——NPU（Neural Processing Unit，神经网络处理单元）。本课程要解决的，正是如何把训练好的视觉模型真正"塞进"这样一台边缘设备，并让它稳定、实时、低功耗地跑起来。这不是单纯的算法课，也不是单纯的硬件课，而是一门把模型、芯片、系统与场景缝合在一起的工程实践课。
一、学习目标：从"会调模型"到"能交付终端"
很多同学已经会用 PyTorch 训练一个分类或检测模型，但把模型部署到边缘终端时，常常卡在几个环节：模型太大放不下、算子不支持、推理延迟超标、精度掉得厉害、摄像头数据接不进来。本课程的学习目标就是打通这条链路，具体包括四个层次：
- 认知层：理解 NPU 的典型架构（MAC 阵列、片上缓存、DMA、量化单元）与边缘视觉终端的基本组成。
- 模型层：掌握模型压缩、量化、算子替换与图优化等面向 NPU 的模型改造方法。
- 部署层：能够使用主流 NPU 工具链完成模型转换、编译、精度校验与性能剖析。
- 系统层：能够把摄像头采集、预处理、NPU 推理、后处理与业务逻辑串成一条完整流水线，并做延迟与功耗优化。
二、核心概念：先建立一张"概念地图"
在动手之前，先把几个高频概念厘清，它们会在后续每一章反复出现。
| 概念 | 含义 | 为什么重要 |
|---|---|---|
| NPU | 面向神经网络张量运算加速的专用处理器 | 决定算力上限与支持的算子集合 |
| 边缘终端 | 靠近数据源、就地完成推理的设备 | 低延迟、低带宽、隐私友好 |
| 量化 | 把 FP32 权重/激活映射为 INT8 等低比特表示 | 直接决定模型能否放进 NPU 并提速 |
| 算子支持 | NPU 编译器能识别并映射的算子集合 | 不支持就得回退 CPU，拖慢整条流水线 |
| 端到端延迟 | 从采集一帧到输出结果的总耗时 | 实时场景的硬指标 |
| 精度回退 | 量化/图优化后精度相对原模型的下降 | 决定方案是否可交付 |
三、整体知识框架：一条从模型到终端的主线
本课程 30 章并非零散知识点，而是沿着"模型—编译—运行—系统—场景"这条主线展开。下图给出了整体知识框架与数据流关系，你可以把它当作全课程的导航图。
这张框架图说明了一个关键事实：模型层与编译层决定"能不能跑"，运行层与系统层决定"跑得好不好"，场景层决定"值不值得跑"。后续章节会依次深入每一层，但始终围绕端到端数据流这条主线。
四、典型应用场景：边缘视觉到底在解决什么问题
边缘视觉终端之所以重要，是因为很多任务不能把原始视频流传到云端。带宽成本、响应延迟、数据隐私、网络稳定性，任何一项都可能让"上云方案"失效。下面几个场景能帮助你建立直观感受：
- 智能安防：摄像头本地完成人形检测与车牌识别，只上传结构化结果，既省带宽又保护隐私。
- 工业质检：产线节拍往往在百毫秒级，缺陷检测必须在本地实时完成，延迟超标就意味着漏检。
- 智慧零售：门店客流分析需要长期稳定运行，功耗与散热是比峰值算力更现实的约束。
- 自动驾驶辅助：前视感知对延迟极其敏感，NPU 需要在毫秒级完成多任务推理。
- 机器人视觉：抓取与导航要求视觉—控制闭环，端到端延迟直接决定动作精度。
五、常见误区与学习建议
误区二：先训模型，最后才考虑部署。量化友好性、算子兼容性应在模型设计阶段就纳入考量，否则后期返工成本极高。
误区三：把精度回退当成"调参问题"。量化误差往往来自数据分布与校准集选择，需要系统性分析，而非盲目微调。
下面是一段典型的 NPU 模型转换与推理调用示意，后续章节会详细展开，这里先建立整体印象：
# 1. 模型转换：将 ONNX 模型编译为 NPU 可执行格式
npu_compiler --model yolov5s.onnx \
--input-shape 1,3,640,640 \
--quantize int8 \
--calib-data ./calib_images/ \
--output yolov5s.npu
# 2. 运行时推理：加载模型并执行一次前向计算
import npu_runtime as nr
model = nr.load("yolov5s.npu")
input_tensor = preprocess(frame) # 归一化 + 量化
outputs = model.infer(input_tensor) # NPU 推理
boxes = postprocess(outputs) # 反量化 + NMS
从这段代码可以看到，边缘视觉终端开发横跨模型、编译、运行时与业务逻辑四个层面。本课程会带你逐层拆解，最终具备独立完成一个 NPU 边缘视觉终端方案设计、部署与调优的能力。请带着"端到端指标"的意识进入后续每一章的学习。