2、Edge AI基础：边缘计算概念、边缘设备类型与资源约束
在深入NAS（神经架构搜索）如何为边缘设备定制高效模型之前，必须先建立对“边缘”这一物理与逻辑边界的清晰认知。边缘计算并非简单的“小服务器”，而是一个由异构硬件、受限资源和多样化部署场景构成的复杂连续体。本章将系统梳理边缘计算的核心定义、主流设备类型（MCU、GPU、NPU、FPGA）的架构差异，以及算力、内存、功耗、延迟这四大硬性约束如何从根本上决定模型搜索的搜索空间与评估策略。理解这些基础，是后续设计硬件感知NAS算法的前提——因为搜索出的模型必须能直接部署并高效运行，而非仅停留在理论FLOPs（浮点运算次数）的优化上。
上图展示了本章的核心逻辑链路：边缘设备类型决定了资源约束的具体数值范围，而这些约束又直接驱动了硬件感知NAS的搜索策略设计。例如，为MCU搜索模型时，内存约束可能比算力更严格；而为GPU搜索时，延迟和功耗则成为主要瓶颈。下面我们将逐一展开。
2.1 边缘计算概念：从云到端的必然演进
边缘计算（Edge Computing）是一种分布式计算范式，它将数据处理、模型推理和应用逻辑从集中式的云端数据中心下沉到网络边缘——即靠近数据源和物理设备的一侧。其核心动机并非取代云计算，而是解决云计算的三大固有痛点：高延迟（往返云端至少数十毫秒）、带宽成本（海量原始数据传输昂贵）、数据隐私（敏感数据不愿离开本地）。在AI场景中，边缘计算意味着模型推理直接在摄像头、机器人、手机或传感器上完成，仅将必要的结构化结果上传云端。
从部署架构看，边缘计算存在一个“边缘-云”协同的连续谱系：端侧（Device）负责实时响应与轻量推理，边缘节点（Edge Node）（如边缘服务器、5G基站）负责聚合处理与模型更新，云端（Cloud）负责大规模训练与全局优化。对于NAS而言，这意味着搜索出的模型必须明确其目标部署层级——是运行在电池供电的MCU上，还是运行在带主动散热的边缘GPU上。两者的搜索空间、评估指标和优化目标截然不同。
2.2 边缘设备类型：四大硬件平台的架构差异
边缘AI设备并非单一形态，而是覆盖从微瓦级到数十瓦级的广阔范围。理解不同设备的微架构特征，是设计NAS搜索空间（如算子类型、通道数、量化位宽）的前提。下表对比了四种主流边缘设备的典型参数与架构特点：
| 设备类型 | 典型代表 | 算力范围 | 内存容量 | 功耗预算 | 架构特点 |
|---|---|---|---|---|---|
| MCU | STM32F4, RP2040 | 10-100 GOPS | 256KB-1MB SRAM | 10-100 mW | 冯·诺依曼/哈佛结构，无缓存或极小缓存，需极低内存占用 |
| GPU | Jetson Orin, Edge TPU | 0.5-10 TOPS | 4-16GB LPDDR | 5-30 W | SIMT并行架构，依赖高带宽内存，适合大batch推理 |
| NPU | K210, 达芬奇, 寒武纪 | 0.5-4 TOPS | 2-8MB SRAM | 0.5-3 W | 脉动阵列或SIMD，对INT8/INT4量化友好，算子固定 |
| FPGA | Zynq UltraScale+ | 可定制 | 外部DDR4 | 5-20 W | 可重构逻辑，流水线深度可定制，适合低延迟固定模型 |
2.2.1 MCU：极致低功耗与内存受限
MCU（微控制器）通常集成CPU核心、SRAM和Flash于单芯片。其算力以GOPS（每秒十亿次操作）计，但更关键的限制是内存带宽与容量。例如，Cortex-M4核心的STM32F4仅有192KB SRAM，这意味着模型权重和中间激活值必须严格控制在几百KB以内。在NAS搜索时，必须将峰值内存占用作为硬约束，而非仅优化FLOPs。此外，MCU通常不支持浮点运算，因此搜索出的模型必须适配INT8或甚至INT4量化，且算子需映射为CMSIS-NN等优化库支持的函数。
2.2.2 GPU：并行吞吐与功耗墙
边缘GPU（如Jetson系列）继承了桌面GPU的SIMT（单指令多线程）架构，拥有数千个CUDA核心。其算力充足，但受限于功耗墙（TDP通常5-30W）和内存带宽。在NAS中，GPU平台更关注延迟-吞吐率权衡：小batch（batch=1）时，内存访问延迟主导；大batch时，计算吞吐率主导。搜索算法需要针对实际部署的batch size进行硬件在环评估，而非简单使用理论FLOPs。
2.2.3 NPU：专用加速与算子约束
NPU（神经网络处理单元）是专为CNN/Transformer设计的ASIC，采用脉动阵列或SIMD结构。其优势是极高的能效比（TOPS/W），但代价是算子支持受限——例如，某些NPU不支持5x5卷积或softmax的硬件实现。NAS搜索空间必须严格限定在NPU支持的算子集合内，否则搜索出的模型无法编译。此外，NPU通常要求通道数对齐（如16的倍数）以充分利用MAC阵列，这需要在搜索空间中引入对齐约束。
2.2.4 FPGA：可重构与深度流水线
FPGA（现场可编程门阵列）通过硬件描述语言配置逻辑单元，可实现高度定制的数据通路。其优势在于确定性延迟和流水线并行——不同层可以物理并行执行。但FPGA开发周期长，且资源（LUT、DSP、BRAM）有限。在NAS中，FPGA平台需要将模型映射为定点数运算（如INT16/INT8），并考虑DSP单元的数量限制。搜索出的模型结构需与FPGA的流水线深度匹配，避免出现资源冲突。
2.3 资源约束：四大硬性指标及其对NAS的影响
无论设备类型如何，边缘AI模型都受四大约束的联合限制。这些约束并非独立，而是相互耦合——例如，降低内存占用可能增加计算次数，从而增加功耗。NAS算法需要将这些约束转化为可微或可采样的目标函数。
2.3.1 算力约束（MACs/FLOPs）
算力约束决定了模型的计算复杂度上限。但需注意，MACs（乘加运算次数）比FLOPs更常用于边缘设备评估，因为MACs直接对应硬件乘法器的工作量。在NAS中，通常使用延迟查找表（Lookup Table）将MACs映射为实际延迟——因为不同算子（如3x3卷积 vs 深度可分离卷积）在硬件上的效率差异巨大。例如，在NPU上，1个MACs的3x3卷积可能比1个MACs的全连接层快3倍。
2.3.2 内存约束（SRAM/DRAM）
内存约束是边缘部署中最容易被低估的瓶颈。模型推理时的内存峰值 = 权重大小 + 最大激活值大小。对于MCU，激活值可能比权重更占内存（因为激活值无法压缩）。NAS搜索时，必须使用内存估算器，在搜索过程中动态计算每个候选架构的峰值内存。若超出设备SRAM，则需引入内存重计算或算子融合策略，但这会增加延迟。
2.3.3 功耗约束（TDP与能量）
功耗约束分为峰值功耗（TDP，决定散热设计）和能量消耗（决定电池寿命）。对于电池供电设备，能量（焦耳）比功耗（瓦特）更重要。NAS中，功耗通常通过能量模型估算：能量 ≈ 延迟 × 平均功耗。而平均功耗与算子的硬件利用率相关——例如，NPU在INT8下的能效比是FP32的4倍。因此，搜索算法需要联合优化量化位宽和网络结构。
2.3.4 延迟约束（实时性）
延迟是用户体验和实时控制的关键。延迟由计算时间、内存访问时间和通信时间组成。在NAS中，延迟预测通常采用逐层分解法：将模型拆分为算子序列，每个算子的延迟通过硬件基准测试预先建立查找表，然后累加。但需注意，多核并行和流水线可能使累加延迟不准确，因此最终需在目标设备上进行实测校准。
2.4 实战场景：为智能摄像头选择目标硬件与约束建模
假设我们要设计一个用于工业质检的智能摄像头，需要在传送带上实时检测产品缺陷。该场景对延迟要求极高（<50ms），且设备安装位置无稳定电源，需电池供电。我们对比两种候选硬件平台：方案A：MCU（STM32H7）；方案B：NPU（K210）。
初始目标与约束：
- 延迟：端到端推理 ≤ 40ms（含图像预处理）
- 功耗：平均功耗 ≤ 1W，电池容量 5000mAh，需连续工作8小时
- 内存：MCU方案 SRAM ≤ 1MB；NPU方案 SRAM ≤ 8MB
- 精度：缺陷检测准确率 ≥ 95%
分析判断过程：
首先，我们建立硬件约束模型。对于MCU方案，其算力约 100 GOPS，但内存仅1MB。若使用MobileNetV2（约300M MACs），其权重约3.5MB（FP32），即使量化到INT8也需约0.9MB，加上激活值（输入224x224x3，第一层激活约150KB），总内存接近1.2MB，超出限制。因此，必须搜索更紧凑的结构，例如将输入分辨率降至160x160，并采用深度可分离卷积+通道剪枝。
对于NPU方案，K210算力0.8 TOPS，内存6MB SRAM。其支持INT8量化，且对3x3卷积有硬件优化。我们初步选择MobileNetV2作为基础结构，但需检查其算子是否全部支持——K210不支持hard_swish激活函数，需替换为ReLU6。
实际操作步骤：
- 步骤1：硬件算子支持表构建。查阅K210的SDK文档，列出支持算子：Conv2D、DepthwiseConv2D、AveragePool、GlobalAvgPool、ReLU、ReLU6。不支持：Softmax（需用硬件实现或近似）、HardSwish、GELU。
- 步骤2：内存估算。使用脚本计算MobileNetV2在160x160输入下的内存峰值。发现第4层（stride=2）的激活值最大，约1.2MB。通过调整通道数（从32降至24），将峰值降至0.8MB。
- 步骤3：延迟查找表。在K210开发板上运行基准测试，测量不同算子（3x3 Conv, DW Conv）的延迟。发现3x3 Conv（通道64）延迟0.8ms，DW Conv延迟0.3ms。累加得到总延迟约35ms，满足要求。
- 步骤4：功耗实测。使用功耗仪测量，平均功耗0.8W，能量消耗 = 0.8W × 35ms = 0.028J/帧。电池总能量 = 3.7V × 5Ah = 18.5Wh = 66600J。可运行帧数 = 66600 / 0.028 ≈ 237万帧，远超8小时需求（8小时×3600秒×10帧/秒 = 28.8万帧）。
结果对比与复盘：
| 指标 | MCU方案（搜索后） | NPU方案（搜索后） |
|---|---|---|
| 模型结构 | 自定义紧凑CNN（5层DW Conv） | MobileNetV2变体（通道缩减） |
| 准确率 | 94.2% | 96.1% |
| 延迟 | 38ms | 35ms |
| 内存峰值 | 0.9MB | 4.2MB |
| 平均功耗 | 0.35W | 0.8W |
复盘经验：MCU方案虽然功耗更低，但准确率未达标（94.2% < 95%）。NPU方案在准确率和延迟上均满足要求，且功耗在预算内。最终选择NPU方案。此案例说明：NAS搜索必须结合具体硬件约束进行多目标优化，不能仅凭算力或功耗单一指标做决策。同时，算子支持表和内存估算器是搜索前必须准备的工具。
2.5 常见误区与总结复盘
在边缘AI模型设计中，以下误区会导致部署失败或性能不达标：
- 误区一：只优化FLOPs，忽略内存访问成本。实际上，在MCU和NPU上，内存访问的能耗和延迟可能超过计算本身。例如，一次DRAM访问的能耗是SRAM访问的100倍。
- 误区二：假设所有算子在所有硬件上效率相同。3x3卷积在NPU上可能被深度优化，但在GPU上可能不如1x1卷积高效。NAS搜索空间必须针对目标硬件进行算子筛选。
- 误区三：忽视量化对结构的影响。INT8量化后，某些结构（如带有大动态范围的激活函数）精度损失严重。搜索时应将量化感知训练纳入评估流程。
- 误区四：用峰值功耗代替能量消耗。对于电池设备，能量（功耗×时间）才是关键。一个峰值功耗高但延迟极短的模型，可能比低功耗但慢的模型更省电。