4. Snapdragon NPU与AI加速架构

在骁龙移动平台上，AI推理并不是单一硬件完成的，而是由CPU、GPU、Hexagon NPU（神经网络处理单元）以及内存子系统协同承担。理解这套架构的关键，是分清“谁负责什么”以及“数据如何在它们之间流动”。Hexagon处理器是其中的核心：它并非单纯的DSP，而是集成了标量控制、向量运算、张量加速单元（HTA/Hexagon Tensor Accelerator）以及紧耦合内存的异构计算子系统。CPU擅长分支密集的调度逻辑，GPU擅长规则的大规模并行浮点运算，而Hexagon NPU则针对低精度、高吞吐的矩阵乘加与卷积做了专门优化，在能效比上通常显著优于CPU和GPU路径。

从数据流角度看，一次端侧推理大致经历：模型加载与图划分 → 输入预处理 → 算子调度到不同后端 → 张量在DDR与NPU紧耦合内存间搬运 → 逐层计算 → 输出后处理。真正决定性能的往往不是峰值算力，而是数据搬运开销与算子是否落在NPU上。若某个算子不被NPU支持，框架会回退到CPU，产生额外的内存往返，形成“NPU—CPU—NPU”的锯齿状执行，这正是端侧推理优化要重点消除的问题。

要让模型真正跑在NPU上，第一步是格式转换与量化。以高通QNN/SNPE工具链为例，典型流程是：将训练好的模型（如ONNX或TensorFlow）转换为DLC格式，再通过量化工具生成INT8或混合精度模型。量化不是简单地把浮点截断，而是需要校准数据集来统计激活值的动态范围。例如，对一个输入为1×3×224×224的图像分类模型，若校准集覆盖了不同光照和场景，得到的scale与zero-point就更接近真实分布，量化后的精度损失通常可控制在1%以内；反之，若校准集过于单一，某些层的激活值会被大量截断，导致Top-1准确率明显下降。

部署阶段的核心工作是“让算子尽量落在NPU上”。可以通过QNN的图分析工具查看每个算子的后端分配情况。常见的不支持算子包括某些自定义激活、非标准Reshape、动态Shape操作等。处理方式有三种：一是用等价的标准算子替换；二是将不支持的子图整体移到CPU并接受性能损失；三是通过算子融合把多个小算子合并成一个NPU支持的复合算子。例如，Conv + Bias + ReLU 在NPU上通常可以融合为单个执行单元，减少中间张量的写回。

端侧推理优化还需要关注内存带宽。移动端DDR带宽有限，而NPU的算力往往远高于内存供给能力，因此“算得快”不如“搬得少”。具体手段包括：将权重常驻在VTCM中、对特征图做分块（tiling）以复用片上缓存、减少不必要的格式转换（如NCHW与NHWC之间的反复转置）。一个实用的判断方法是看推理时间是否随模型层数线性增长：如果某几层耗时异常突出，往往不是算力问题，而是该层触发了回退或产生了大量DDR访问。

下面给出一个量化配置的示例片段，用于说明校准与精度控制的关键参数。注意以下参数为教学示例，实际值需根据模型和数据集调整。

# 量化配置示例（教学用，非实测）
calibration:
  dataset: "calib_500_images"     # 校准集，建议500~1000张
  input_layout: "NHWC"
  num_bits: 8                     # INT8 量化
  per_channel: true               # 卷积权重逐通道量化
  activation_range: "minmax"      # 激活值范围统计方式
  fallback_layers:                # 允许回退CPU的层
    - "CustomReshape"
    - "NonMaxSuppression"

最后需要建立“精度—速度—功耗”的三角权衡意识。INT8通常比FP16快约1.5～2倍且功耗更低，但对异常值敏感；FP16精度更好，适合对数值稳定性要求高的层。实际部署时可以采用混合精度：卷积和全连接用INT8，LayerNorm或Softmax等对精度敏感的层保留FP16。判断是否达标，不能只看单次推理时间，还要看连续推理时的热稳定性——有些设备在短时爆发下很快，但持续运行后会因降频而明显变慢。因此，建议在目标机型上做至少5分钟的连续推理测试，记录首帧延迟、稳定帧延迟和温升曲线，再决定是否进一步压缩模型或调整后端分配。